Пётр Великий... -
один есть целая всемирная история
Александр Сергеевич Пушкин
Участок земли по реке Фонтанке (тогда её называли Безымянным Ериком) был пожалован Петром I фельдмаршалу, графу Борису Петровичу Шереметеву в 1712 году при условии строительства здесь «хоромного дворового строения».
С этого времени на большом участке Шереметева, располагавшемся между сильно заболоченным берегом Фонтанки и линией нынешнего Литейного проспекта, началось возведение разнообразных, сначала деревянных, а потом каменных строений. В 1730-е на участке был вырыт большой пруд, грунт из которого пошёл на подсыпку проезжей части Литейного проспекта, тогда же был построен каменный дом, выходивший на эту магистраль. На Фонтанке же находилось загородное имение Шереметевых с садом.
В конце 1730-х — начале 1740-х годов для сына Бориса Петровича Шереметева Петра на месте старых деревянных корпусовбыл построен новый одноэтажный дворец. В начале 1750-х годов по проекту Саввы Ивановича Чевакинского и крепостного архитектора Фёдора Семёновича Аргунова это здание было надстроено вторым этажом.
Двухэтажный дворец построен в стиле русского барокко. Здание стоит в глубине парадного двора, раскрытого в сторону реки. Центр главного фасада выделен пилястрами и мезонином, завершённым лучковым фронтоном. В поле фронтона помещён картуш с гербом Шереметевых. Боковые крылья здания завершены слегка выступающими ризалитами, украшенными пилястрами и увенчанными треугольными фронтонами.
      Начиная с 1824 года, во дворце часто бывал художник Орест Адамович Кипренский, друживший с Шереметевыми и создавший по их заказу ряд портретов. Летом 1827 года в своей мастерской, которую ему предоставили во дворце, он написал портрет Александра Сергеевича Пушкина. На создание портрета