У Троицкого подворья, на месте дома 46, с 1740-х годов стояла загородная дача (деревянная, на каменном цо коле) личного священника царицы Елизаветы Федора Яковлевича Дубянского, одного из образованнейших людей своего времени, несмотря на свою рясу лихого наездника. К его покровительству будучи великой княгиней прибегала Екатерина II, когда ей грозила высылка за границу. В конце ХVIII века деревянный дом уступил место каменному. Одна из дочерей Ф.Я.Дубянского вышла замуж за представителя старинного рода Зиновьевых, Н.В. Зиновьева, который был определен Николаем I наставником при великих князьях Николае, Александре и Владимире Александровичах. После смерти Дубянского дача перешла к его наследникам, Зиновьевым.
В 1843 году, когда домом владел генерал-адъютант Н. В. Зиновьев, здание было перестроено по проекту архитектора В. Я. Лангвагена. Над боковыми крыльями зодчий надстроил третий (не считая полуподвалов) этаж. Крылья дома, возвышающиеся над центральной частью здания, которую украшают легкий балкон с ажурной решеткой, полукруглый фронтон (с гербом герцога Мекленбург-Стрелецкого), декоративная обработка фасада в стиле барокко - в таком виде дом сохранился до наших дней.
Глухая ограда по сторонам дома сооружена в 1830-х годах. Увенчанные мраморными бюстами широкие ворота со старинными колоннами несколько напоминают арку императора Траяна (98 - 117 гг.) в Риме.
В конце 1880-х в помещениях особняка размещалась Канцелярия его императорского величества.
В 1895 году участок земли с особняком и хозяйственными постройками приобрел герцог Георгий Георгиевич Мекленбург-Стрелецкий. В период владения особняком герцога и его жены графини Н. В. Карловой интерьеры дома и дворвые постройки подверглись перестройке архитектором Стаценко В.П..
Вероятно, герцог понимал архитектурную ценность особняка, его планировочного решения, поэтому и не позволил себе произвести перепланировку первого и второго этажей, кроме как со стороны двора обновление зимнего сада - непременного атрибута аристократических дворцов; видимо в это же время плафоны одной из гостиных были обновлены сюжетами ораниенбаумского дворцового комплекса и помещения третьего этажа приспособлены под жилые комнаты для детей и их обслуживающего персонала. В некоторых помещениях была сохранена отделка первой четвети XIX века.
Восемь комнат первого этажа занимал младший брат Михаил Георгиевича, не имевший своей семьи, и впоследствии так и не женившийся.
На участке находилось здание конторы двора, а также хозяйственные постройки - дровяные сараи, ледник, конюшня, прачечная. Позже, когда Георгий Георгиевич покупает автомобиль, во дворе обустраивается гараж. В 1896 г. герцог закладывает на своем участке доходный дом - нынешний адрес ул. Рубинштейна 5.
После 1917 г. судьба особняка, как и имущества его обитателей была очень печальной. Однако сохранились: вестибюль с четырьмя канеллированными, без баз, колоннами дорического ордера, изящные перила, росписи способом гризайль на парадной лестнице, некоторые лепные карнизы, полихромная живопись плафонов, созданная в начале ХIХ века, оформление библиотеки. Только в конце 1980-х началась борьба за возвращение его в культурную среду города, что, наконец, произошло осенью 1994 г. - в особняке Карловой разместилась библиотека им. В.В.Маяковского.