31 stycznia rozpoczęła się japońska inwazja. O godzinie 1:00 nad ranem trzy japońskie bataliony wylądowały na południowo-wschodnim wybrzeżu półwyspu Laitimor. Było to całkowitym zaskoczeniem dla alianckiego dowództwa, które uważało, że desant w tym miejscu będzie niemożliwy z powodu zbyt trudnych warunków terenowych. Niemal w tym samym czasie żołnierze 1. Specjalnego Oddziału Desantowego, wsparci przez 10. kompanię 288. pułku piechoty, wylądowali w rejonie wioski Hitu-lama na półwyspie Hitu. Szybko przełamali opór stawiany przez kilka holenderskich plutonów, po czym skierowali się na południe – w kierunku zatoki Baguala i lotniska Laha.
Bitwa bardzo szybko zaczęła przybierać niekorzystny obrót dla aliantów. Japończycy zbliżyli się do Paso od południa, po czym zaczęli obchodzić od wschodu pozycje obrońców. W szeregach holenderskich oddziałów, złożonych głównie z ludności tubylczej, dawała się odczuć wyraźna niechęć do walki. Odnotowywano także przypadki paniki. Około godziny 18:00 Holendrzy poprosili o krótki rozejm, lecz Japończycy odmówili przyjęcia emisariuszy, po czym gwałtownie wznowili natarcie, bez walki biorąc do niewoli część obrońców, których zaskoczyli na stanowiskach na pierwszej linii. Nieco wcześniej, o godzinie 17:00, Japończycy przełamali obronę samotnego australijskiego plutonu i zajęli miasto Ambon.