Красуйся, град Петров,
И стой неколебимо, как Россия!
Александр Сергеевич Пушкин
В 1730-х годах архитектор Франческо Бартоломео Растрелли построил здесь для приближенного Анны Иоанновны, графа Лёвенвольде, большой деревянный дворец. Позднее усадьба перешла в собственность гетмана Украины и президента Академии наук Кирилла Григорьевича Разумовского - брата фаворита императрицы Елизаветы Петровны. В 1760 году старый дворец был разобран, и на его месте началась постройка нового каменного здания по проекту архитектора Александра Филипповича Кокоринова. Постройка была закончена в 1766 году. а Жаном-Батистом Валлен-Деламотом.
В конце 1790-х годов дворец был продан в казну и был передан Воспитательному дому, созданному по указу Павла I. Покровительствовала ему жена императора Мария Фёдоровна, первым руководителем стал Иван Иванович Бецкой. Воспитательный дом предназначался прежде всего для обездоленных детей: сирот-подкидышей, инвалидов. На фасадах зданий и на арке у входа можно видеть скульптурное изображение пеликана. Это символ, отражающий предназначение находящегося здесь учреждения.
Парадный двор-курдонер бывшей усадьбы Разумовского со стороны Мойки в 1818 году был обрамлён новой металлической оградой по проекту архитектора Дементий Иванович Квадри. При этом парадные ворота, сооружённые в 1760-х годах, были сохранены. Но их дополнили упомянутым выше изображением пеликана.
В 1837 году Воспитательный дом был преобразован в Сиротский женский институт (с 1885 года - Николаевский сиротский институт). Его воспитанницы получали профессию педагога. В 1903 году на здесь было образовано первое в России педагогическое учреждение - Императорский Женский педагогический институт.
В 1918 году институт переименовали в Первый Педагогический. Затем здесь же возникли Второй и Третий институты. В 1922-1925 годах, на их базе был создан Ленинградский государственный педагогический институт имени А. И. Герцена.
      Перед главным входом в 1961 году был установлен памятник выдающемуся русскому педагогу Константину Дмитриевичу Ушинскому