Wyspy Alandzkie stanowiły niezależny obszar feudalny. W kolejnych niespokojnych stuleciach zamek został wciągnięty w wojnę pomiędzy Szwecją i Danią. Wiele razy podbijany przez Danię, został ostatecznie odzyskany przez Szwedów. W 1530 r. po raz pierwszy Kastelholm odwiedził król Gustaw I Waza. 26 lat później przekazał on jako lenno Turku wraz z Wyspami Alandzkimi i zamkiem swojemu wówczas osiemnastoletniemu synowi Janowi III Wazie, który w 1563 poślubił Katarzynę Jagiellonkę. Polska księżniczka otrzymała od niego Kastelholm i Wyspy Alandzkie. W 1563 roku Katarzyna i Jan udali się do Turku i podejrzewani o spiskowanie z Rzecząpospolitą zostali uwięzieni przez króla Szwecji Eryka IV w zamku Gripsholm. Po obaleniu Eryka IV zostali zwolnieni, a Jan III Waza koronowany na króla. Do 1603 roku właścicielką zamku była wdowa po Gustawie I Wazie. Do 1634, gdy Wyspy Alandzkie zostały przekazane do Turku i prowincji Björneborg w Finlandii, zamkiem rządzili królewscy namiestnicy. W rezultacie Kastelholm stracił na znaczeniu. W roku 1745 wybuchł niszczycielski pożar, w wyniku którego duża część zamku spłonęła.