В 1831 г. дом был сдан Английскому клубу (основан в 1772 г.), первоначально объединявшему иностранцев, живших в Москве, а с конца XVIII в. представителей российской аристократии. Стать членом клуба стремились многие, но удавалось это не всем: помимо солидного ежегодного взноса (15 руб.) нужно было иметь и солидную родословную.

Некогда на этом месте стоял особняк, построенный М. Казаковым для Е. И. Ко-зицкой. Сохранился акварельный рисунок дома, выполненный в начале XIX в. Ф. Я. Алексеевым. Фасад здания украшали стройная колоннада, балконы, изящные решетки.