Urodzony w zaborze rosyjskim, pobierał we wczesnych latach szkolnych naukę w rosyjskiej szkole, co oprócz znajomości języka dawało mu wiedzę o mentalności Rosjan, a jako były oficer rosyjskich wojsk inżynieryjnych, którym podporządkowane były jednostki łączności, znał ich praktykę, co stało się atutem przy dekryptażu radiogramów rosyjskich.
Na początku sierpnia 1919 roku Jan Kowalewski rozpoczął pracę w Sekcji Szyfrów (najbardziej utajnionej sekcji Oddziału II Sztabu Generalnego), zajmującej się nasłuchem zagranicznych depesz. Odpowiedzialny był tam za segregowanie depesz. Pewnego dnia, zastępując urlopowanego kolegę, dla zabicia czasu podjął próbę rozszyfrowania treści zawartych w sowieckiej depeszy. Do poszukiwania powtarzających się sekwencji znaków posłużył się przesuwając wzdłuż linii tekstu grzebień z wyłamanymi zębami. O tym sposobie przeczytał w noweli Edgara Alana Poe Złoty żuk, gdzie główny bohater opowiadania złamał szyfr zastosowany przez pirackiego kapitana w celu ukrycia skarbu.