Kasteel Baexem dat in zijn huidige vorm uit de 17e eeuw dateert, werd ooit bewoond door het militaire geslacht Van Baexen. Volgens de memorietafel zijn drie ridders uit dit geslacht anno MCCLXXXVIII gestorven. Dit zou er op kunnen duiden dat de ridders in het jaar 1288 zijn gesneuveld tijdens de beroemde slag bij Woeringen (een plaats bij Keulen). Ook latere adellijke bewoners leverden de nodige militairen, van wie het merendeel ver van huis de dood vond. In 1878 kochten 4 families uit Baexem gezamenlijk het kasteel en de landerijen van de laatste adellijke bewoner baron Van der Marck en wisten via verloting de koop onderling te verdelen.
Op de plek waar voorheen de moestuin van de familie lag, bevindt zich nu de unieke botanische tuin.
Over de oudste bouwgeschiedenis van het huis is niet veel bekend. De oudste bovengrondse delen dateren uit de 17e eeuw. De kelders zijn ouder. Aan de rechterkant van het kasteel heeft een woontoren gestaan die waarschijnlijk tot het oorspronkelijke stamhuis heeft behoord. Later is er een nieuwe vleugel bijgekomen die loodrecht op de oorspronkelijke vleugel staat. In de 18e eeuw is de linkervleugel bijgebouwd. Hierdoor kreeg het kasteel een min of meer symmetrische vorm.
In het begin van de 19e werd het kasteel aan drie zijden door grachten omgeven. Ook om de moestuin van het kasteel lag een gracht.
Op het voorplein ligt een streekrestaurant, genaamd de Baronshoeve.
