Дом 20 построен в 1787 - 1790 годах, автор его неизвестен. Главный фасад дома решен в строгих классических формах. Центр здания выделен четырехколoнным портиком под треугольным фронтоном. Закругления угловых частей свидетельствуют о том, что автор не предполагал застраивать участок на всю его ширину по принципу сплошной застройки. По распространенной в гражданской архитектуре XVIII века традиции первый этаж дома трактован как цокольный. В нем паходились вестибюль и другие служебные помещения. На втором этаже размещались парадные комнаты.
В первом этаже сохранилась первоначальная внутренняя отделка бывшего вестибюля, декорированного коринфскими колоннами. В ряде помещений сохранились камины белого мрамора. Из интерьеров наибольший интерес представляет помещение бывшей домовой церкви, отделанное в 1812 году попроекту архитектора А.Н.Воронихина.
В первой четверти ХIХ века, точнее после 1811 года, здание принадлежало министру народного просвещения киизю А. Н. Голицыну. Этот друг Александра I был известен своей реакционностью, он объявил себя искоренителем «вольнодумства, безбожия и революционной необузданности».
До 1917 года в этом здании размещалось Министерство двора.
В квартире на третьем этаже, окнами на Фонтанку, жили братья Александр и Николай Тургеневы. В их квартире собирался литературный кружок «Арзамас» (1815 - 1818 гг.), объединявший многих талантливых деятелей русской литературы того времени (В. А. Жуковский, К. Н. Батюшков, П. А. Вяземский, А. С. Пушкин и другие литераторы). В «Арзамасе» не было единства в политических и литературных взглядах. Некоторые участники кружка (Н. И. Тургенев и М. Ф. Орлов) одновременно состояли в тайном «Союзе благоденствия». Николай Тургенев в собрании членов «Арзамаса» страстно говорил о необходимости уничтожении крепостного права в России. Спустя много лет в десятой главе «Евгения Онегина» Пушкин писал, что Николай Тургенев
...плети рабства ненавидя,
предвидел в сей толпе дворян
освободителей крестьян.
Именно на квартире Тургеневых юный Пушкин в 1817 году, глядя из окна просторной полукруглой комнаты Николая на стоящий напротив мрачный Михайловский замок, писал оду «Вольносгь», в которой упоминается
...грозно спящий средь тумана,
Пустынный памятник тирана,
Забвенью брошенный дворец.