Jeden z jego rywali na korcie Gordon Forbes przytaczał we wspomnieniach szereg anegdot z nim związanych: koncerty jazzowe, techniczne eksperymenty na korcie z nietypowymi rotacjami i trudnymi zagraniami, głośne filozoficzne i niby-filozoficzne medytacje, w które wciągał innych graczyGordon Forbes, A Handful of Summers, 1997, s. 87–89, 111–117..
W 1943 roku, mając 15 lat, podjął wraz z młodszym bratem Jurgenem oraz matką, Ullą, pochodzenia żydowskiego, próbę opuszczenia Danii i dostania się do Szwecji przez cieśninę Sund. Kuter rybacki, którym płynęli został zauważony przez wojska niemieckie jeszcze na duńskich wodach terytorialnych i ostrzelany. Po dwóch tygodniach spędzonych w duńskim obozie koncentracyjnym, rodzinę Ulrichów wypuszczono na wolność. Torben powrócił do kopenhaskiej szkoły średniej, do której uczęszczał, lecz gdy próbował wytłumaczyć swoją nieobecność przebywaniem w niewoli, nauczyciel uderzył go, uznając wytłumaczenie za żart. Ulrich po tym incydencie opuścił szkołę.