Владение № 12 в 1794 году принадлежало княгине А. Голицыной, от которой перешло к дворянам Фонвизиным, родственникам великого комедиографа. Здесь, у братьев Михаила и Ивана Фонвизиных, находился московский центр декабристского движения. В 1821 году в доме собрался съезд «Союза благоденствия». После восстания на Сенатской площади здесь были арестованы Михаил Фонвизин и живший у него декабрист Василий Норов.
В мае 1869 года владение покупает жена крупного железнодорожного предпринимателя Надежда фон Мекк. В 1878 году дворец осматривает в отсутствие владелицы П. И. Чайковский, состоявший с ней в долголетней переписке.