Jednak w roku 1622 Gustaw Adolf zdobył Dyjament, a następnie rozkazał jego przebudowę. Nową twierdzę w stylu holenderskim zaprojektował w 1641 roku generał Rothenburg. Od 1680 roku Szwedzi nazywali twierdzę Neumünde.
Podczas wielkiej wojny północnej twierdza 14 marca 1700 roku zdobyta została przez wojska saskiehttps://www.zapiskihistoryczne.pl/files/5/Vol._88_2023/ZH_88-1_01_Kuczynski_N.pdf, została na krótko nazwana na cześć Augusta II Mocnego AugustusburgJózef Anndrzej Gierowski, August II w świetle brunszwickiego „Post Zeitung”, w: Między zachodem a wschodem, t. II Toruń 2003, s. 178.. Została następnie całkowicie przebudowana. W 1742 roku w Dyjamencie uwięziono regentkę Annę, jej męża Antona Ulricha von Braunschweiga oraz jej syna, przyszłego cara Iwana VI. W roku 1775 miejscowy kościół luterański przebudowano na cerkiew prawosławną.
Rząd Rosji w 1893 roku zmienił nazwę Dyjamentu (w którym mieszkali tylko rosyjscy żołnierze) na Усть-Двинск. Fortyfikacje twierdzy zostały całkowicie przebudowane przed wybuchem pierwszej wojny światowej. Podczas wojny Dyjament bombardowany był przez siły powietrzne Niemiec. Wkrótce Niemcy opanowali twierdzę, a w 1917 roku jej inspekcji osobiście dokonał cesarz niemiecki Wilhelm II.