Circa 500 meter langs de Balgoyse wetering ligt een bossage. Dit is de plek waar ooit Kasteel Balgoy het landschap domineerde. De wetering zelf is een onbeduidend overblijfsel van een verlande arm van de Maas.

Omstreeks het midden van de 14e eeuw moet met de bouw van het kasteel zijn begonnen. Qua vorm zal het op Kasteel Doornenburg in de Over-Betuwe hebben geleken. Het complex had een ruime voorhof met veel bedrijfsgebouwen. Het voorhof was via een ophaalbrug verbonden met een grote rechthoekige zaaltoren, poortgebouw, muren, grachten en een voorburcht. Merkwaardig genoeg was de voorburcht van 30 bij 40 meter ouder dan de rest. Het kasteel werd gebouwd door de graven (later hertogen) van Kleef, die steeds verder wilden doordringen in het Gelders gebied. Zij wilden heer van ‘Balgoy en Keent’ worden. Zij stuitten echter op de Proost van het Kapittel van St. Jan in Utrecht, die de oudste rechten had. Na een tijdlang tweeherig te zijn geweest, werd de hele heerlijkheid na een strafexpeditie begin 15e eeuw uiteindelijk toch geheel Kleefs. Later, in 1568, verwerft het kasteel een vermelding in de vaderlandse geschiedenis als plek waar Alva zijn troepen legerde. Eind 16e eeuw werd het kasteel nog verbouwd.

In 1672 wordt het kasteel door de Fransen totaal verwoest. Op dezelfde plek is rond 1760 een huis in classicistische stijl gebouwd, maar ook dat huis bestaat niet meer. Het enige dat van het oorspronkelijke kasteel nog lang is blijven staan, is het bak- of koetshuis dat buiten de omgrachting stond. In de winter van 1979/80 stortte dit restant als bouwval in elkaar.
In het landschap is tegenwoordig niets meer te zien van Kasteel Balgoy. In Museum Kasteel Wijchen staat een maquette van het kasteel.