Był także inicjatorem utworzenia ochotniczej straży pożarnej (od 1864 r.) oraz patronował Miejskiemu Towarzystwu Ogniowemu.
Wiele uwagi poświęcił Towarzystwu Upiększania Miasta, któremu przewodniczył. Staraniem tego towarzystwa założono i pielęgnowano trawniki i zieleńce, a ulice obsadzono drzewami. W związku z tym Bydgoszcz przez wiele następnych lat cieszyła się opinią miasta pełnego zieleni i przyjaznego do zamieszkania.
Karl von Foller był reprezentantem silnej w mieście Partii Narodowych Liberałów. Podczas uroczystości położenia kamienia węgielnego pod budowę pomnika Fryderyka II na Starym Rynku w obecności króla Wilhelma I (21 października 1861 r.), monarcha nadał mu tytuł nadburmistrza Bydgoszczy. Odtąd przypadł mu w udziale honor noszenia złotego łańcucha-oznaki godności ojca miasta. Von Foller urząd swój piastował do końca kadencji, a w 1869 r. zgłosił swą kandydaturę w nowych wyborach burmistrza. Nieoczekiwanie przegrał w nich nieznaczną mniejszością głosów z Reinholdem Boie.
Końcowym akcentem jego pobytu w Bydgoszczy było utworzenie fundacji jego imienia. Powstała ona z kapitału 500 talarów zebranych dobrowolnie od 42 obywateli miasta. Zgromadzone pieniądze przekazano później potrzebującym pomocy uczniom miejskiej szkoły realnej.