Haanwijk is als woonplaats al genoemd in 1308. Het was een agrarische nederzetting. Het landgoed ontstond toen Jacob Sweerts de Landas (1587-1673) de hoeve Haanwijk aankocht in 1651. Toen zal ook het eerste huis Haanwijk gebouwd zijn. Later kochten zijn zonen meer grond aan in Haanwijk, waardoor het landgoed verder uitgebreid werd.
Het huis Haanwijk heet in de volksmond het kasteeltje en wordt ook wel eens het jachtslot genoemd. Een kasteel is het natuurlijk nooit geweest, want het was niet verdedigbaar en een jachtslot was het ook niet, want het is altijd als woonhuis in gebruik geweest. Het werd in 1889 verbouwd, waarbij het kleiner werd en het torentje daardoor nu niet meer in het midden van het gebouw staat, maar aan de linkerkant. De boerderijen eromheen waren pachthoeven, waarvan er later, ook nog in de 20e eeuw een aantal is verkocht. In de 18e eeuw werd het sterrenbos aangelegd.
Haanwijk is altijd in de familie – de afstammelingen van Jacob Sweerts en hun naaste familieleden – gebleven, tot het in 1984 werd verkocht aan het Brabants Landschap. De laatste adellijke bewoner was Berthe Louise Elise Bink – de Senarclens de Grancy (1890-1958). In 1998 werd er een theehuis geopend.
Het huis is in 2018 gerestaureerd en de bijgebouwen en de tuin zijn nu aan de beurt.
Het huidige landgoed heeft een oppervlakte van 431 ha, maar omdat het omringd is door andere gebieden van het Brabants Landschap, lijkt het veel groter. Het bestaat uit de restanten van het vroegere sterrenbos, bouwland en weiland. Vanuit het zuiden is het vanuit de Buurtschap Halder te bereiken over een prachtige oprijlaan. Behalve het Huis Haanwijk met daarin een restaurant, liggen er enkele boerderijen en het voormalige veerhuis het Vaantje. Daarnaast is er een infocentrum in het Buitenlokaal, het theehuis ‘t Haantje, Museum Romeins Halder, een kindermoestuin, een kinderspeeltuin en de biologische tuinderij De Scheve Schup.