Urodził się w biednej rodzinie i dorastał w otoczeniu ludzi z marginesu – ich właśnie utrwalał później w swych opowiadaniach i takie role zazwyczaj przyznawano mu w filmach.
W 1947, mając 16 lat, trafił najpierw do więzienia (w wywiadzie stwierdził, że było to nieistniejące już bardzo ciężkie więzienie karno-śledcze nr III w Warszawie, zwyczajowo zwane „Toledo”), a potem do istniejącego do dzisiaj zakładu poprawczego w Szubinie, kilkanaście kilometrów na południowy zachód od Bydgoszczy, gdzie poznał podstawy kamieniarstwa. Następnie za dobre sprawowanie został, wraz z kilkoma kolegami, oddelegowany do kamieniołomów w Strzegomiu, gdzie zaczął przyuczać się do zawodu kamieniarza. To tam zaczął czytać książki. Dalsze jego losy są niejasne. Czasem mówił, że pracował jako grabarz na cmentarzu w Mińsku Mazowieckim; inna wersja głosiła, że skończył szkołę górniczą, wyjechał na Górny Śląsk i pracował jako górnik rębacz w KWK „Boże Dary” w Kostuchnie. W ciągu swojego życia, zanim rozpoczął karierę literacką, odbył służbę wojskową (co potwierdzają fotografie w mundurze), pracował jeszcze jako piekarz, ślusarz i palacz kotłowy na statkach. Tę ostatnią pracę podjął m.in.