Kasteel Baexem dat in zijn huidige vorm uit de 17e eeuw dateert, was een leen van de abdij van Thorn. Het slot ontleende zijn naam aan het nabijgelegen dorp. Een ridderlijk geslacht Van Baexem is al uit de dertiende eeuw bekend. Volgens de memorietafel zijn drie ridders uit dit geslacht anno MCCLXXXVIII gestorven. Dit zou er op kunnen duiden dat de ridders in het jaar 1288 zijn gesneuveld tijdens de beroemde slag bij Woeringen (een plaats bij Keulen).
Ook latere adellijke bewoners leverden de nodige militairen, van wie het merendeel ver van huis de dood vond.
In 1878 kochten 4 families uit Baexem gezamenlijk het kasteel en de landerijen van de laatste adellijke bewoner baron Van der Marck en wisten via verloting de koop onderling te verdelen.
Over de oudste bouwgeschiedenis van het kasteel is helaas weinig bekend. Het oudste deel van het huidige kasteel zijn de kelders. De huidige gebouwen zijn van 1676 en jonger. De vleugels zijn in de 18e eeuw bijgebouwd, waardoor het gebouw een symmetrisch aanzien kreeg. De ingangspartij is voorzien van een risaliet, voorzien van een fronton. Rechts van de ingang heeft een donjon gestaan, waartegen enkele vakwerkhuizen gebouwd waren. Bij graafwerkzaamheden in 1985 is onder meer het fundament van deze donjon (toren) tevoorschijn gekomen, maar de ouderdom daarvan is onbekend. Het kasteel was vroeger omgracht.
Het tegenwoordige hoofdgebouw is een twee lagen tellend u-vormig huis met witgeschilderde gevels en schilddaken op alle vleugels. Het oudste, in mergelblokken uitgevoerde muurwerk bevindt zich in de achtergevel en dateert getuige de jaarankers uit de zeventiende eeuw.
Het voorterrein heeft een oprijlaan vanuit het noordwesten. De toegang wordt gemarkeerd door een symmetrisch inrijhek met aan weerszijden drie in hoogte oplopende bakstenen pijlers en natuursteen detaillering. Rond het plein bevinden zich vier gebouwen, die oorspronkelijk een vrijwel symmetrische aanleg hadden.
Links van de oprijlaan bevindt zich de L-vormige 'Hover Hof', thans in gebruik als restaurant en woonhuis, onder de naam de Baronshoeve.
Rechts ligt haaks op de laan de 'Soursehof'. die oorspronkelijk ook eerst een L-vormige aanleg had. Later in de 19e eeuw is dit gebouw afgebroken en vervangen door het huidige. Voorbij deze gebouwen ligt linkt huis 'De Trap´. Aan de rechterzijde heeft een soortgelijk gebouw gestaan maar later vervangen door een nieuwe bedrijfsvleugel·
Het kasteel is thans ingericht voor een deel als B&B.
