W 1601 roku powstała biblioteka gimnazjalna, systematycznie wzbogacana z funduszu Rady Miejskiej.
W drugiej połowie XVII wieku, wskutek wojen szwedzkich, nastąpił upadek miasta, a za nim i gimnazjum. Mimo tego szkoła pozostawała ośrodkiem życia kulturalnego. W latach 1644–1645 wykładał tu Jan Ámos Komenský.
W roku 1882 wybudowano nowy gmach dla gimnazjum i jego biblioteki. To właśnie w tym gmachu położony jest jego spadkobierca – II Liceum Ogólnokształcące im. Kazimierza Jagiellończyka oraz, powstałe w 1999 roku, Gimnazjum nr 3 (do roku 2019). Te dwie instytucje wspólnie tworzyły Zespół Szkół Ogólnokształcących nr 2 w Elblągu.
W 2017 roku szkoła uzyskała zezwolenie na uruchomienie klas dwujęzycznych, co doprowadziło do zmiany nazwy placówki na II Liceum Ogólnokształcące z Oddziałami Dwujęzycznymi im. Kazimierza Jagiellończyka w Elblągu.
Dyrektorzy Podani w kolejności chronologicznej: 1945–1948 – Bronisław Markiewicz 1948–1952 – Józef Lisak 1952–1953 – Mieczysława Koszewicz 1953–1955 – Edmund Błeszyński 1955–1973 – Zygmunt Sztuba 1973–1984 – Stanisław Przybycień (od 1970 roku wicedyrektor szkoły) 1984–1999 – Izabela Babraj 1999–2009 – Andrzej Korpacki (wcześniej wicedyrektor szkoły) od 2009 – Agnieszka Jurewicz