Stanowił centrum administracyjne włości powiatu lidzkiego guberni wileńskiej. Od 1835 roku w posiadaniu Uruskich. Ostatnimi właścicielami Żołudka byli książęta Czetwertyńscy, dla których w 1908 roku wzniósł Władysław Marconi pałac.
Po wojnie polsko-bolszewickiej w 1921 roku miasteczko i folwark Żołudek znalazły się w granicach II Rzeczypospolitej, w województwie nowogródzkim, w powiecie lidzkim, stając się siedzibą wiejskiej gminy Żołudek. Miasteczko liczyło wówczas 274 domy mieszkalne, zaś folwark – 14. Ostatnimi polskimi właścicielami byli Czetwertyńscy, w ich rękach dobra te pozostawały do 1939 roku. W wyniku sowieckiej napaści na Polskę, 19 września 1939 roku, Żołudek został zajęty przez Armię Czerwoną. Od 2 listopada 1939 roku w składzie Białoruskiej SRR. W 1940 roku otrzymał status osiedla typu miejskiego i stał się centrum administracyjnym rejonu. W czerwcu 1941 roku zajęty przez wojska niemieckie, 22 lipca włączony do dystryktu Lida w Komisariacie Generalnym Białoruś Komisariatu Rzeszy Wschód.
Podczas okupacji hitlerowskiej, w październiku 1941 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 2000 osób. 9 maja 1942 roku Niemcy zlikwidowali getto, a Żydów zamordowali poza miastem.