Po zajęciu Estonii przez Sowietów i rozwiązaniu estońskiej armii w połowie czerwca został zwolniony ze służby wojskowej. Podjął pracę jako robotnik budowlany w Tallinnie. Przed masowymi deportacjami Estończyków, rozpoczętymi w poł. 1941 r., zdołał uciec do lasu. W północnej części Estonii w rejonie Virumaa zorganizował partyzancki oddział, który walczył z istriebitielnymi batalionami NKWD, terroryzującymi lokalną ludność. Po wkroczeniu na obszar Estonii armii niemieckiej wstąpił we wrześniu 1941 r. do Wehrmachtu. Służył jako kapitan w 184 Oddziale Bezpieczeństwa. Od końca października 1942 r. dowodził w stopniu majora 658 Wschodnim Batalionem, walcząc z Armią Czerwoną w północno-zachodniej części ZSRR. W lutym 1944 r. 658 Wschodni Batalion został przeniesiony w rejon Narwy i przydzielony do niemieckiego XXVI Korpusu Armijnego. 27 kwietnia A. Rebane przeszedł wraz ze swoim oddziałem do nowo formowanej 20 Dywizji Grenadierów SS. Został dowódcą 47 Pułku Grenadierów SS w stopniu pułkownika. Walczył pod Narwą i Tannenbergstellung, broniąc granic Estonii przed Sowietami. We wrześniu Dywizja została wycofana do Niemiec na odpoczynek, po czym wiosną 1945 r. powróciła na front wschodni. W marcu lub kwietniu awansował na Waffen-Standartenführera der SS. Objął funkcję zastępcy dowódcy Dywizji. W ostatnim okresie wojny A.