CUNY jest trzecim co do wielkości zespołem uniwersyteckim w Stanach Zjednoczonych pod względem liczby studentów, tuż za Uniwersytetem Stanu Nowy Jork (State University of New York, SUNY) i Uniwersytetem Stanu Kalifornia. CUNY i SUNY są instytucjami publicznymi, które działają niezależnie od siebie mimo dofinansowania przez stan Nowy Jork. Instytucje CUNY położone są tylko w granicach pięciu dzielnic miasta Nowy Jork, co sprawia, że otrzymują wsparcie od samorządu miejskiego.
Z Uniwersytetu Miejskiego w Nowym Jorku pochodzi 12 laureatów Nagrody Nobla.
Historia Szkoła powstała w roku 1847 jako Wolna Akademia (Free Academy), założona przez przewodniczącego Wydziału Edukacji w Nowym Jorku, Townsenda Harrisa. Została utworzona jako „uczelnia służąca bezpłatnemu nauczaniu polegającemu na publicznej edukacji”. W 1929 nazwę Free Academy zmieniono na City College of New York.
W 1926 władze stanu Nowy Jork powołały Board of Higher Education of the City of New York, który miał za zadanie utworzenie i połączenie dodatkowych instytucji szkolnictwa wyższego dla rosnącej populacji miasta.