Mieszkańcy Burlington pomogli sfinansować pierwszy gmach uniwersytetu. Kiedy został zniszczony przez pożar w 1824 roku, zapłacili również za jego wymianę. Ten budynek stał się znany jako "Stary Młyn" ze względu na podobieństwo do ówczesnych młynów Nowej Anglii. Markiz de La Fayette, francuski generał, który został dowódcą rewolucji amerykańskiej, podczas gdy był w Vermont położył kamień węgielny Old Mill, który stoi na University Row wraz z kaplicą Ira Allena, biblioteką Billings, Williams Hall, Royall Tyler Theatre i Morrill Hall. Posąg Lafayette stoi na północnym krańcu głównej zieleni.
UVM była pierwszą amerykańską instytucją szkolnictwa wyższego z kartą deklarującą, że "zasady, przepisy i regulaminy nie powinny preferować żadnej sekty religijnej lub wyznania". mały|Biblioteka Billings Memorial, zbudowana w 1883 roku, była biblioteką uniwersytecką do 1961 roku, kiedy to większy Biblioteka Guy W. Baileya została zbudowana. Od tego czasu służył różnym celom. W 1871 roku UVM przeciwstawił się zwyczajowi i przyjął dwie kobiety jako studentki.