В 1816 году на месте, где сейчас находится здание по адресу улица Неглинная, 29/14, был возведён первый каменный дом. Принадлежал он купеческой жене Катерине Ивановне Соколовой и её брату мещанину Виноградову. И был он, разумеется, жилым. Дом многократно подвергался перепланировкам, перелицовке, надстройкам. Меняли фасад, переносили входы. Перепродавали. В 1843 году его собственником стал академик 9-го класса Иван Трофимович Дурнов. А в 1861 году новые владельцы, купцы Пеговы, перестроили его до неузнаваемости.
Когда Яков Пегов познакомился с ресторатором Люсьеном Оливье, тому было чуть более 20 лет. Знакомство состоялось на почве пристрастия обоих к нюхательному табаку: здесь же, на Трубной площади, находилась лавочка, где торговали лучшим в городе табачком. Слово за слово… Выяснилось, что помимо табака есть и другие, гораздо более серьёзные точки соприкосновения: у Пегова в собственности отличный дом, а у Оливье — проект создания гостиницы и ресторана, в котором русские трактирные традиции будут сочетаться с французским изыском. Было создано Товарищество гостиницы «Эрмитаж Оливье», и дело пошло!
В 1881 году журнал «Вестник Европы» публикует статьи писателя и журналиста Петра Боборыкина из цикла «Письма о Москве». Боборыкин рассыпается в похвалах ресторану «Эрмитаж». «Я называю его государственным учреждением или, по крайней мере, земским бытовым центром. Нужды нет, что он содержится французом. И этот француз родился в Москве… Кухня самых бойких парижских ресторанов — чуланчики в сравнении с этими огромными и высокими залами. Одна плита занимает место большой гостиной. Целый батальон поваров и поварят, до шестидесяти человек находится под командой француза с благородной физиономией, употребляя определение Гоголя. Этот француз получает жалованье, равное содержанию председателя окружного суда… «Эрмитаж» делает до двух тысяч рублей в день оборота, что составляет бюджет богатого города».
Увы, Люсьен Оливье оставил мало следов на московской земле. Есть только могила на Введенском кладбище, неожиданно обнаруженная в 2008 году и отреставрированная. На надгробном камне высечено: «Люсьен Оливье. Скончался 14 ноября 1883 года. Жил 45 лет. От друзей и знакомых».
Ни в Бельгии, откуда он, согласно легенде, был родом, ни в России, да и вообще на русском языке нет ни одного документа, подтверждающего, что Люсьен Оливье был поваром, тем более потомственным. Тайна окружает имя человека, которому многие поколения россиян обязаны культовым салатом, носящим его имя.
С уходом шефа деятельность гостиницы и ресторана не прекращается. Фирма сохраняет своё название — до момента закрытия заведения в 1917 году она продолжает носить имя Оливье, а на фасаде красуется вывеска «Эрмитаж». Проводятся ещё несколько реконструкций. В 1880-е годы преображением здания занимается Михаил Чичагов, один из представителей династии архитекторов Чичаговых. Михаил Николаевич вошёл в градостроительную историю как мастер архитектурной эклектики. Он много занимался строительством и оформлением театральных сооружений. К примеру, построил знаменитое здание театра Корша в псевдорусском стиле.
В 1890-е годы снова сделали ремонт — насытили особняк современными инженерными системами отопления, вентиляции, канализации, телефонии…
Последняя реконструкция пришлась на 1910-е годы, когда архитектор Иван Бони пристроил к «Эрмитажу» летнюю террасу.
Наступил 1917 год. Гостиница «Эрмитаж Оливье» перестала существовать. Следующая реконструкция здания будет произведена 100 лет спустя.