Annebergggåd blev opført som en mindre hovedgård i slutningen af 1660'erne af købmand Henrik Müller. Anneberggård var tiltænkt datteren Anne Catharina, derfor navnet Anneberg. Selve hovedbygningen var et trefløjet anlæg med voldgrave på de tre sider. Hovedbygningerne af bindingsværk var ikke ualmindeligt i renæssancen og den tidlige barok. Anneberggård blev drevet som et samlet proprietærgods til
1777, hvor Kronen overtog Anneberg og havde den i besiddelse til 1801, hvor Frans Wilhelm Trojel, købte Anneberggårds bygninger, og fik gennemførte landboreformen i Odsherred. I 1814 solgtes Anneberg til Frederik von Buchwald, som omlagde hele godsets driftsform. Eksempelvis var han den første i landet der gav sig i kast med at dyrke raps. Buchwald gik også i gang med skibsbyggeri, og på strandengen blev skibene søsat. Frederik von Buchwald opførte i 1856 den nuværende bygning, der er tegnet i italiensk stil af datidens kendte arkitekt Theodor Sørensen. Gennem et herskabeligt liv skaffede Buchwald sig mange venner og personligt venskab med bl.a. kong Christian Vlll, som flere gange gæstede Anneberg. Buchwald døde i 1874 og Anneberg blev overtaget af datteren Charlotte Buchwald. I 1913 måtte Anneberg sælges, da man ikke længere kunne få det økonomisk til at løbe rundt. Godset opsplittedes og der frasolgtes 80 tønder land til staten til opførsel af Amtshospitalet. Herefter fik Anneberg gennem årene mange forskellige ejere. I 1918 udskiltes hovedbygningen og parken fra de øvrige bygninger. Huset har mange minder fra at være Herregårdspension, Pigehjem, Børnehjem og Vandrerhjem. Annebergs ladegårdsanlæg samt den gamle portnerbolig står endnu på sin oprindelige plads ud mod Anneberg Stræde, Det er den selvejende institution, Odsherred Kulturhistorisk museum, der ejer og driver anlægget.
