Na jego dalszą pracę etnograficzną miał wpływ spotkany w Krakowie Wincenty Pol, a także Oskar Kolberg.
Od 1872 r. zamieszkał w majątku rodzinnym w Jeżewie, gdzie gospodarował na 1500-morgowym gospodarstwie. W 1883 r. ożenił się z Aleksandrą Jelską, córką etnografa i pisarza Aleksandra Jelskiego i bratanicą swego przyjaciela Michała Jelskiego. Mieli syna Stanisława i córkę Janinę.
Pierwsze prace etnograficzne podjął już w 1867 r. Później odbywał wędrówki etnograficzne i archeologiczne po ziemiach Polski i Litwy. Swoje liczne zbiory gromadził w domu rządcy browarnego i murowanym lamusie. Po jego śmierci do 1939 r. mieściło się tu jego muzeum.
Gloger utrzymywał kontakty z wieloma ówczesnymi polskimi uczonymi i humanistami. W Jeżewie gościli m.in. etnograf Jan Aleksander Karłowicz, wspomniany już Julian Bartoszewicz, antropolog i etnograf Józef Tylko-Hryncewicz, folklorysta i przyjaciel z okresu studiów w Krakowie Michał Federowski oraz przyrodnik, pedagog i krajoznawca Wojciech Jastrzębowski. Przyjeżdżali propagatorzy nowoczesnego rolnictwa i sadownictwa: Brunon Dłużewski, Michał Girdwoyń i kolega z lat szkolnych Tymoteusz Łuniewski. Jeżewo odwiedzali także literaci: Henryk Sienkiewicz – kolega Glogera z warszawskiej Szkoły Głównej, Eliza Orzeszkowa czy krewna matki Zygmunta, poetka Narcyza Żmichowska.