Красуйся, град Петров,
И стой неколебимо, как Россия!
Александр Сергеевич Пушкин
На месте, где сейчас находится Мраморный дворец, располагался построенный в 1714 году Почтовый двор с пристанью. Рядом находился Зверовый двор, позже в «слоновый амбар» с Потешного поля перенесли Готторпский глобус, который затем был перенесен в Кунсткамеру.
Пожар 1737 года уничтожил Почтовый двор и находящееся перед ним здание слоновника. Выжженное место расчистили, и в 1768 году по велению Екатерины II на этой территории Антонио Ринальди приступил к строительству дворца предназначавшегося в качестве подарка её фавориту Григорию Григорьевичу Орлову.
Архитектор удачно вписал строящийся дворец в уже сложившийся ансамбль Дворцовой набережной. Новый дворец встал в один ряд с Зимним дворцом Франческо Бартоломео Растрелли, Малым Эрмитажем Жана-Батиста Валлен-Деламота, Старым Эрмитажем Юрия Матвеевича Фельтена и Эрмитажным театром Джакомо Антонио Кваренги.
Нижнюю часть фасада Мраморного дворца облицевали гранитом, а для облицовки стен верхних этажей архитектор решил использовать более 30 сортов мрамора. Отсюда и название здания - "Мраморный дворец". В 1780-1788 годах восточнее дворца был построен Служебный корпус. Дворец уравновесил громаду Зимнего дворца и вместе с тем не стал соперничать с ним ни по протяжённости фасада, ни по пышности декора, при этом Мраморный дворец отличается строгостью и величавостью.
Григорий Орлов умер в 1783 году, и Екатерина II выкупила здание у наследников графа, а в 1796 году пожаловала его своему внуку 16-летнему великому князю Константину Павловичу по случаю его бракосочетания. В 1797—98 годах во дворце жил последний король Польши Станислав Август Понятовский , умерший здесь же в 1798 году.
После смерти Константина Павловича в 1831 году, император Николай I передал Мраморный дворец во владение своему второму сыну Константину Николаевичу. Здание для него в 1840-х годах реставрировал и отделывал интерьеры по своему проекту архитектор Александр Брюллов.
В 1888 году владельцем дворца стал сын Константина Николаевича, президент Академии наук и поэт Великий князь Константин Константинович (К.Р.). После него хозяином Мраморного дворца был его сын, князь императорской крови Иоанн Константинович.
С 1950-х до конца 1980-х перед дворцом на постаменте располагался бронеавтомобиль Остин-Путиловец. После переноса броневика в Артиллерийский музей, его место в 1997 году занял памятник Александру III .