W 572 tereny Jemenu zdobyły wojska perskiego szachinszaha Chosrowa I Anoszirwana pod dowództwem wodza Wahraza, co niemal ostatecznie zakończyło panowanie Aksumu na Półwyspie Arabskim. Jeszcze dwukrotnie, bo w 575 i 578 Aksumczycy podnosili bunt na terenie Jemenu, co zmuszało Wahraza do chwilowej ucieczki wraz ze czterema tysiącami żołnierzy i ponownego stłumienia powstań.
Tradycja Według etiopskiej tradycji, Kaleb pod koniec panowania abdykował, a koronę oddał do Bazyliki Grobu Świętego w Jerozolimie, po czym wstąpił do klasztoru. Etiopski historyk Taddesse Tamrat odnotował tradycję zasłyszaną od wiekowego kapłana w mieście Lalibela. Wedle tej relacji Kaleb pochodził z prowincji Lasta i jego pałac mieścił się w Bugna, gdzie żyjący siedem wieków później władca Gebre Meskel Lalibela miał założyć swoją stolicę. Ponadto kilka inskrypcji nosi imię Kaleba. W Akum znajduje się również parę zrujnowanych budowli, a o jednej z nich mówi się, że jest grobem króla Kaleba i jego syna Gabre Maskala. Tradycja przypisuje Kalebowi także drugiego syna, Izraela, być może tożsamego z późniejszym władcą aksumskim Izraelem.