Красуйся, град Петров,
И стой неколебимо, как Россия!
Александр Сергеевич Пушкин
Летний сад изначально создавался как летняя царская резиденция, и для его постройки была выделена часть острова Усадица. Для устройства летней резиденции Пётр I выбрал место, на котором располагалось имение некоего шведского майора.
Строительство началось в 1704 году, первым строителем сада стал Иван Матвеевич Угрюмов.
С 1707 года наблюдение за строительством в отсутствие Петра I было поручено Александру Васильевичу Кикину, при нём с 1709 года начинается активное строительство в саду. Сад становится местом проведения ассамблей, балов и фейерверков, но попасть туда было возможно лишь по приглашению Петра.
В 1710-1716 годах вырыты Лебяжий и Поперечный каналы. Поперечным каналом территория сада делится на Первый и Второй Летние сады. За Мойкой находился Третий Летний сад - "Сад ее величества". Этот сад Петр подарил Екатерине.
Архитектор Доменико Трезини возводит каменный Летний дворец с гаванцем, строится павильон Грот. Для украшения сада заказываются, в основном в Венеции, мраморные скульптуры. Во Втором Летнем саду устроен Карпиев пруд. Композиция сада выполнянтся в традициях голландских регулярных садов.
С 1716 года работы в Летнем саду ведёт "генерал-архитектор" Жан-Батист Леблон.
В 1718—1725 гг. был прорыт Лиговский канал из речки Лиги, вытекавшей из Дудергофских озёр. Вода шла по каналу в бассейн. Оттуда по трубам она подавалась к водовзводным башням, обеспечивающим фонтаны Летнего сада водой.
В 1725-1750 годах работы в саду связаны с именеми знаменитого архитектора Франческо Бартоломео Растрелли.
В 50-х годах Елизавета Петровна разрешила впускать публику в Летний сад «в небытность государыни» в Петербурге.
21 сентября 1777 году произошли буря и наводнение, которые разрушили фонтаны и павильон «Грот». Екатерина II решила фонтаны не восстанавливать.
В 1784 году закончено строительство ограды Летнего сада , выполненное по проекту архитектора Юрия Матвеевича Фельтена.
В 1839 году шведский король подарил Николаю I гранитную вазу . В 1855 году в саду скульптором Петром Карловичем Клодтом установлен памятник Ивану Андреевичу Крылову.
В 2004 г. территория Летнего сада с Летним дворцом Петра I вошла в состав Государственного Русского музея (ГРМ). Летний сад стал одним из филиалов Русского музея.