После смерти Е. М. Олениной усадьба была продана в 1841 году надворному советнику, штаб-лекарю Фердинанду Матвеевичу Адамсу, гомеопату и большому поклоннику сельскохозяйственных нововведений. При нём бывший «приют муз» превратился в молочную ферму, а размеры имения уменьшились почти вдвое. На проданных землях были устроены мызы Софиевка, Христиновка, Марьино и Васильевка. Кроме того, в 1844 году 98 десятин у него купили немецкие колонисты из Ново-Саратовки и Средней Рогатки для устройства дочерней колонии Приютино.
В 1853 году он продал имение генерал-майору Александру Христиановичу Далеру (1805—1861). В 1861 году генерал-лейтенант Далер умер и мыза на десять лет перешла во владение его наследников.
Следующим владельцем стал титулярный советник Пётр Фёдорович Серапин (1838—1893), который в 1871 году он женился на Луизе Далер, получив часть мызы в приданое, а остальные части выкупил у других наследников и тут же начал распродавать имение по частям.
В 1882 году мызу Приютино купил статс-секретарь, тайный советник, член Государственного совета Егор Абрамович Перетц (1833—1899).
Почти 30 лет, начиная с 1853 года, Приютино использовалось своими владельцами как загородная дача, однако Егор Абрамович Перетц решил вернуть мызе хозяйственное значение, вновь стали засеваться поля, снова был заведён молочный скот.
При последнем владельце Мартыне Александровиче Краузе, владельце молочного склада в Петербурге, потомственном почётном гражданине, купившем имение в декабре 1896 года, сохранялись все усадебные постройки и велось образцовое хозяйство. При нём были произведены значительные мелиоративные работы, поля были дренажированы гончарными трубками, имелся кирпичный завод, который он сдавал в аренду, но больше никогда это место не называли, как при Олениных, «усадьбой русских поэтов».
М. А. Краузе в 1911 году продал производственные мощности имения Приютино сельскохозяйственному товариществу прибалтийских дворянских имений «Помещик».
После революции в имении был организован совхоз «Приютино»
В 1926 году к совхозу «Приютино» присоединяется совхоз «Щеглово».
Во время войны на территории усадьбы находился Приютинский аэродром
В Приютине в 1957 году русский советский поэт Николай Рубцов написал стихотворение «О собаках» и «Морские выходки». В начале 1955 года девятнадцатилетний Рубцов устраивается слесарем-сборщиком в Приютине. Здесь же Рубцов жил и во время отпуска с эсминца Северного военно-морского флота, на котором служил с 1955 по 1959 год.
К 1960-м годам Приютино стало убогим местом: парк утратил свою красоту, а все сохранившиеся постройки были поделены на обычные коммуналки. В 1960 году усадьба Приютино была включена в число памятников культуры республиканского значения; с 1971 года началось её расселение и подготовка первой музейной экспозиции. 17 декабря 1974 года 1-я экспозиция, посвящённая дому Олениных, была открыта в двух залах главного усадебного дома. Был также заказан проект реставрации главного усадебного дома и ротонды над молочным погребом. Были выявлены прямые потомки А. Н. Оленина и с их помощью в музее появились материалы — портреты, личные вещи семейства Олениных.
Тогда же привели в порядок парк: сделали дорожки, облагородили деревья.
В 1978 году музей был закрыт, и началась реставрация господского дома, которая была завершена к 1990 году. В мае 1990 года музей снова начал принимать посетителей.
