Zbożenna, podobnie jak pobliskie wsie Skrzynno i Skrzyńsko, wg pierwszych wzmianek związana była z rodem Duninów. W 1508 roku nastąpił podział rodzinnego majątku, a Zbożenna znalazła się w posiadaniu Pawła Dunina Zbożeńskiego.
W II połowie XVIII wieku posiadłość w Zbożennie nabył Karol Szydłowski herbu Lubicz, starosta uszycki. Wybudował pałac w stylu klasycystycznymi i obrał go za swoją siedzibę.
Był to okres największej świetności tych dóbr. W pięknym parku znajdował się zwierzyniec, mieścił się tu teatr i kaplica. Za sprawą Wiktorii, żony Karola Szydłowskiego, która kochała muzykę, utrzymywana była nadworna orkiestra.
Po śmierci Szydłowskiego w 1811 roku pałac zmieniając kolejnych właścicieli stopniowo popadał w ruinę.
Generał wojsk napoleońskich Jaen – Baptiste Mallet de Grandeville, drugi mąż Wiktorii Szydłowskiej, ze względu na służbę wojskową rzadko bywał w majątku. Na stałe osiadł w Zbożennie po zwolnieniu ze służby w 1837 roku, w 7 lat po śmierci Wiktorii. 
Kolejnym właścicielem Zbożenny została Waleria, córka generała z drugiego małżeństwa z Adelą z Krasińskich.
Waleria Marrene, primo voto Morzkowska, pisarka i publicystka odbywała liczne podróże, nie była częstym gościem w Zbożennie, a w 1877 roku na stałe osiadła w Warszawie. Jest autorką ponad dwudziestu dzieł prozatorskich, publikowała na łamach „Przeglądu Tygodniowego” była też tłumaczką dramatów Ibsena.
Na początku XX wieku Zbożenna przechodzi w posiadanie Kazimierza Witwickiego, właściciela Odlewni Żeliwa Kamienna w Skarżysku Kamiennej.
Dwór stopniowo zostaje restaurowany. W 1920 roku dobudowany zostaje taras od strony południowej budynku, podparty łukowymi arkadami. Zmieniona zostaje funkcja pomieszczeń podziemia.
W ostatnich latach II wojny światowej zarząd nad dworem zostaje powierzony Franciszkowi Kasztelowiczowi, krewnemu właściciela.
Po wejściu wojsk rosyjskich do Zbożenny w 1944 roku Kazimierz Witwicki zostaje aresztowany. Właścicielem dworu pozostaje do 1945 roku.
Po wojnie majątek zostaje znacjonalizowany. Grunty w wyniku reformy rolnej zostają rozdzielone pomiędzy ludzi pracujących w majątku. Część dworu zostaje przeznaczona na mieszkania w części znajduje się posterunek milicji. W kolejnych latach mieści się tu szkoła podstawowa, technikum rolnicze i dom pracy twórczej następnie ośrodek wypoczynkowy.
Po pożarze w okresie powojennym dach budynku zostaje podniesiony i zaopatrzony w facjatki, co zmienia funkcję użytkową poddasza.
W przedniej części parku, pod dębem, stała niegdyś figurka Matki Bożej. Odlew był wykonany na polecenie Kazimierza Witwickiego Po wojnie, gdy w dworze znajdowała się szkoła wydano nakaz zniszczenia posągu. Ówczesny woźny Pan Leśniewski ukrył ją przed władzami, a obecnie figurka znajduje się w jego ogródku.
