twierdza została wzmocniona kamiennymi murami, a w następnych stuleciach wieżami obronnymi.
W maju 1612 r., podczas wojny między Szwecją a Rosją (1610–1617), twierdza została zdobyta przez Szwedów po dziewięciomiesięcznym oblężeniu i od tej pory gród nosił nazwę Nöteborg. W roku 1702, w czasie wojny północnej twierdza została zajęta przez Rosjan po wysadzeniu na wyspie desantu. Na rozkaz cara Piotra Wielkiego twierdzy nadano obecną nazwę. W języku niemieckim Schlüsselburg oznacza miasto-klucz (miał być to klucz do podboju Finlandii).
Na lewym brzegu Newy rozwinęła się w tym czasie osada Schlüsselburg, która w 1780 r. uzyskała prawa miejskie. Na założenie miasta miało wpływ powstanie śluz umożliwiających żeglugę po kanale. Po pokonaniu Szwedów przez Rosjan i założeniu Sankt Petersburga twierdza szlisselburska straciła na znaczeniu strategicznym i od początku XVIII wieku była wykorzystywana jako więzienie, w którym często osadzano przestępców politycznych, także dworzan i członków rodziny carskiej w niełasce. W Szlisselburgu więziono m.in. cara Iwana VI, który przebywał tu od 1756 r. do śmierci w 1764, , dekabrystów, narodowolców. Z Polaków więzieni byli tu między innymi Walerian Łukasiński, Ludwik Waryński i Kazimierz Pużak.