Van het oude kasteel Nunhem is niets bekend, behalve dat het op een omgracht terrein stond en in het begin van de 18e eeuw werd vervangen door een nieuw buitenhuis. In 1732 biedt het kasteel onderdak aan verdreven nonnen uit het Brabantse Ommel. Dit was staatsgebied van de Republiek waar kloosters niet werden getolereerd. Deze zusters namen het genadebeeld uit Ommel mee naar Nunhem. Pas in 1840 werd dit beeld teruggebracht naar Ommel.
In 1947 werd het huis verwoest door brand, waarna slechts een ruïne achterbleef. In 1978 werd het huis gerestaureerd, waarbij ook materialen van het oude huis werden gebruikt. Momenteel is het kasteel in gebruik van Nunhems Netherlands BV, het groentezaadveredelingsbedrijf van BASF.
