Возведенный на одной из самых аристократических улиц Москвы, особняк сменил немало именитых владельцев: Хованских, Орловых, Ермоловых.

После графини Е.Ф. Орловой, прославившейся чудачествами (ее домашняя шутиха «дура Матрешка» была известна всему городу и даже императору Александру I), дом был приобретен для героя Отечественной войны и покорителя Кавказа Алексея Ермолова (1777-1861), который провел в нем последние 10 лет своей жизни.

Позднее здесь жил Владимир Дмитриевич Коншин – деловой партнер и родственник Павла Третьякова (Коншин был женат на его сестре – Елизавете). Интересно, что другая сестра знаменитого мецената, София, вышла замуж за архитектора Александра Каминского. Поэтому неудивительно, что для реконструкции своего дома Коншин пригласил в 1873 году именно этого, тогда уже опытного и знаменитого мастера.

После Коншина дом в начале 20 века приобрел миллионер-промышленник Алексей Константинович Ушков. Дом был вновь перестроен, причем фасад стал почти буквальным повторением особняка Ушкова в Казани (ныне одна из главных достопримечательностей города), спроектированного архитектором Карлом Мюфке. В ходе этой, второй по счёту, перестройки дом окончательно утратил классические черты. Фасад украсился обильным лепным декором с филигранными и выразительными изображениями орлов, грифонов, львиных голов, дубовых и лавровых ветвей. На втором этаже появился фигурный балкон c изысканной кованой решеткой, повторяющейся в литой ограде слева от дома.

Холл первого этажа сохранил напоминание о некогда царившем здесь стиле александровского ампира начала 19 века.

Холл второго этажа также выдержан в торжественно-ампирном духе. Много света, пространства, светлые тона. В коридоре второго этажа расположилась экспозиция небольшого музея ГлавУпДК.

При Ушкове в интерьере дома, в соответствии с требованиями моды, появились «тематические» залы: помпейский, римский, наполеоновский, севрский и, конечно же, мавританский. Последний, как показала проведённая уже в наши дни экспертиза, проектировал гений эпохи – Федор Шехтель. По счастью, он сохранился в виде, позволившем провести реставрацию, которая вновь открыла взглядам восточное великолепие: красномраморный камин, инкрустированный золотом и бронзой и совершенно феноменальный купол потолка, напоминающий своды арабских мавзолеев.

После революции в доме разместилась хореографическая школа-студия знаменитой американской танцовщицы Айседоры Дункан. И здесь же, после знакомства с Дункан, жил и работал поэт Сергей Есенин.

В 1930-х годах в доме помещалась Выставка охраны материнства и детства, а затем здание было передано Наркомату иностранных дел.

ГлавУпДК бережно относится к доверенному его попечению историческому и культурному наследию. Проведенная Главным Управлением в 1999 году реставрация особняка признана победителем конкурса на лучшую реставрацию, реконструкцию памятников архитектуры Москвы. Очередной этап реставрации в 2015 году позволил вернуть первозданный вид ещё одному из залов, где теперь проходят рабочие встречи и совещания.