Возведенный на одной из самых аристократических улиц Москвы, особняк сменил немало именитых владельцев: Хованских, Орловых, Ермоловых.

После графини Е.Ф. Орловой, прославившейся чудачествами (ее домашняя шутиха «дура Матрешка» была известна всему городу и даже императору Александру I), дом был приобретен для героя Отечественной войны и покорителя Кавказа Алексея Ермолова (1777-1861), который провел в нем последние 10 лет своей жизни.

Позднее здесь жил Владимир Дмитриевич Коншин – деловой партнер и родственник Павла Третьякова (Коншин был женат на его сестре – Елизавете). Интересно, что другая сестра знаменитого мецената, София, вышла замуж за архитектора Александра Каминского. Поэтому неудивительно, что для реконструкции своего дома Коншин пригласил в 1873 году именно этого, тогда уже опытного и знаменитого мастера.

После Коншина дом в начале 20 века приобрел миллионер-промышленник Алексей Константинович Ушков. Дом был вновь перестроен, причем фасад стал почти буквальным повторением особняка Ушкова в Казани (ныне одна из главных достопримечательностей города), спроектированного архитектором Карлом Мюфке. В ходе этой, второй по счёту, перестройки дом окончательно утратил классические черты. Фасад украсился обильным лепным декором с филигранными и выразительными изображениями орлов, грифонов, львиных голов, дубовых и лавровых ветвей. На втором этаже появился фигурный балкон c изысканной кованой решеткой, повторяющейся в литой ограде слева от дома.