В Петровское время возле дворца располагалась небольшая гавань — Гаванец, которую
позже засыпали после наводнения. Она позволяла подплывать ко входу во дворец прямо на лодке. Также окружающая дворец вода использовалась и для устройства канализации.
После смерти Петра I дворец долгое время использовался в качестве летней резиденции для сановников и придворных, здесь заседал Верховный Тайный совет, но сами царствующие особы больше во дворце не жили. Именно этому дворец обязан своей сохранностью — Елизавета построила себе новую летнюю резиденцию, а петровский дворец никто не стал перестраивать.