7 июня 1732 года в Петербурге был заложен первый Зимний дворец. На самом деле, всего за период 1711—1764 годов в городе на Неве на разных участках возводилось 5 зимних дворцов. Первоначально Пётр I поселился в построенном на скорую руку в 1703 году недалеко от Петропавловской крепости одноэтажном доме.
На месте нынешнего Эрмитажного театра Пётр Великий владел участком между Невой и Миллионной улицей. В 1708 году здесь, в глубине участка, построили деревянный Зимний дом — небольшой двухэтажный дом с высоким крыльцом и черепичной крышей. В 1712 году были выстроены каменные Свадебные палаты Петра I. Этот дворец стал подарком губернатора Санкт-Петербурга Александра Даниловича Меншикова к свадьбе Петра I и Екатерины Алексеевны.
Второй Зимний дворец был построен у Зимней канавки. В 1716 году архитектор Георг Маттарнови по приказу царя приступил к постройке нового Зимнего дворца, на углу Невы и Зимней канавки, которую тогда называли «Зимнедомным каналом». В 1720 году Пётр I со всем своим семейством переехал из летней резиденции в зимнюю. В 1725 году в этом дворце Пётр скончался.
Позднее императрица Анна Иоанновна посчитала Зимний дворец слишком маленьким и в 1731 году поручила его перестройку Ф. Б. Растрелли, который предложил ей свой проект переустройства Зимнего дворца. По его проекту потребовалось купить стоявшие в то время на месте, занимаемом нынешним дворцом, дома, принадлежавшие графу Апраксину, Морской Академии, Рагузинскому и Чернышеву. Анна Иоанновна проект одобрила, дома были скуплены, снесены и весной 1732 года началось строительство.
Фасады этого дворца были обращены на Неву, Адмиралтейство и на «луговую сторону», то есть на Дворцовую площадь. В 1735 году строительство дворца было завершено, и Анна Иоанновна переехала в него жить. Четырёхэтажное здание включало в себя около 70 парадных залов, более 100 спален, галерею, театр, большую капеллу, множество лестниц, служебные и караульные помещения, а также комнаты дворцовой канцелярии.
Именно этот Зимний действительно стал дворцом, отчего его и считают первым. Здесь 2 июля 1739 года состоялось обручение принцессы Анны Леопольдовны с принцем Антоном-Ульрихом. После смерти Анны Иоанновны сюда привезли малолетнего императора Иоанна Антоновича, который пробыл здесь до 25 ноября 1741 года, когда Елизавета Петровна взяла власть в свои руки.
1 января 1752 года императрица Елизавета Петровна приняла решение о расширении Зимнего дворца, после чего были выкуплены соседние участки Рагузинского и Ягужинского. На новом месте Растрелли пристраивал новые корпуса. По составленному им проекту эти корпуса должны были быть пристроены к уже существующим и быть оформлены с ними в едином стиле.
Императрица пожелала увеличить высоту Зимнего дворца с 14 до 22 метров. Растрелли был вынужден переделывать проект здания, после чего решил строить его в новом месте. Но Елизавета Петровна отказалась от перемещения нового Зимнего дворца. В результате архитектор принял решение строить всё здание заново, новый проект был подписан Елизаветой Петровной 16 июня (27 июня) 1754 года:
Четвёртый (временный) Зимний дворец был построен в 1755 году. Его построил Растрелли на углу Невского проспекта и набережной реки Мойки, но был разобран в 1762 году. Пятый и существующий Зимний дворец строился по проекту Ф. Б. Растрелли. С 1754 по 1762 год шло строительство существующего и в настоящее время здания дворца, ставшего в то время самым высоким жилым зданием в Санкт-Петербурге. Здание включало в себя около 1500 комнат. Общая площадь дворца порядка 60 000 м². Елизавета Петровна не дожила до окончания строительства, принимал работу 6 апреля 1762 года уже Пётр III.
К этому времени была закончена отделка фасадов, но многие внутренние помещения ещё не были готовы. Летом 1762 года Петра III свергли с престола, окончено строительство Зимнего дворца уже при Екатерине II. Прежде всего императрица отстранила от работ Растрелли. Отделкой интерьеров дворца занимались архитекторы Ю. М. Фельтен, Ж. Б. Валлен-Деламот и А. Ринальди под руководством Бецкого.
В 1763 году императрица переместила свои покои в юго-восточную часть дворца, под своими комнатами она приказала разместить покои своего фаворита Г. Г. Орлова. В 1764—1766 годах для Орлова будет возведён Южный павильон Малого Эрмитажа, соединённый с покоями Екатерины галереей на арке.
В северо-западном ризалите был обустроен "Тронный зал", перед ним появилось помещение для ожидания — "Белый зал". Позади Белого зала разместили столовую. К ней примыкал "Светлый кабинет". За столовой следовала "Парадная опочивальня", ставшая через год "Алмазным покоем". Кроме того императрица приказала обустроить для себя библиотеку, кабинет, будуар, две спальни и уборную.
В 1764 году Екатерине II были переданы из Берлина 317 ценных картин общей стоимостью в 183 тысячи талеров из частной коллекции живописи Йоханна Эрнста Гоцковского в счёт его долга князю Владимиру Сергеевичу Долгорукову. Из этих 317 картин (принято считать, что их было лишь 225) в основном голландско-фламандской школы первой половины XVII века, переданных в Россию в 1764 году и положивших начало собраниям Эрмитажа, сегодня здесь сохранилось по меньшей мере 96 полотен.
Картины размещались в уединённых апартаментах дворца, получивших французское название "Эрмитаж" (фр. "место уединения"); с 1767 по 1775 годы для них строится специальное здание восточнее дворца. В 1780—1790-х годах работы по отделке дворцовых интерьеров продолжили И. Е. Старов и Дж. Кваренги.
В 1790-х годах по указу Екатерины II, которая сочла неуместным хождение публики в Эрмитаж через её собственные покои, была создана галерея-перемычка с Зимним дворцом — "Аполлонов зал", — при помощи которой посетители могли миновать царские апартаменты для посещения музея.
