Zesłanie do Australii thumb|250px|Tablica upamiętniająca przybycie Josepha Potaskiego do Hobart W dniu 27 marca 1802 roku Potaski zostaje oskarżony razem z Johnem O’Brienem w Horsham o kradzież kobiecej chusty ze sklepu w mieście Newhaven. Potaski jako winny popełnionego czynu zostaje zesłany do Australii. Joseph Potaski zostaje zesłany razem z rodziną, żoną Irlandką Catherine O’Sullivan i synem Josephem Juniorem. W podróż do Australii wyruszają z portu w Portsmouth na statku HMS Calcutta pod dowództwem Davida Collinsa. 9 października 1803 roku statek przybija do portu w zatoce Port Phillip (w pobliżu dzisiejszego miasta Sorrento, Wiktoria), gdzie zlokalizowana była osada dla skazańców. Ze względu na trudne warunki bytowe skazańcy zostają przeniesieni do Hobart na Tasmanii. Joseph Potaski razem z rodziną udają się w podróż na statku Ocean, który wyruszył w dniu 20 stycznia 1804 roku i 17 lutego 1804 roku statek zakotwiczył w zatoce Risdon Cove. W tym samym dniu na świat przychodzi córka Josepha – Catherine Junior, która była pierwszą Europejką urodzoną i ochrzczoną na Tasmanii. Żonie Catherine została przyznana działka ziemi w Clarence Plains. W 1810 roku Joseph Potaski stał się wolnym człowiekiem. Po odbytej karze Joseph zajął się uprawą roli. Rodzina zaopatrywała kolonie w kukurydzę oraz pszenicę.