28 lutego 1933 w Los Angeles zmierzył się z mistrzem świata organizacji NBA w wadze piórkowej Freddiem Millerem. Przegrał na punkty i przestał być uznawany za mistrza świata. 12 czerwca tego roku w San Francisco Arizmendi pokonał Millera w walce towarzyskiej.
Przegrał z Tonym Canzonerim 13 marca 1934 w Los Angeles, a 30 sierpnia tego roku w Nowym Jorku pokonał Mike’a Belloise’a w walce o wakujący tytuł mistrza świata wagi piórkowej w wersji NYSAC. Nigdy nie bronił tego tytułu i został pozbawiony mistrzowskiego pasa w 1936.
Arizmendi pokonał 4 listopada 1934 w Meksyku Henry’ego Armstronga, a 1 stycznia następnego roku, również w mieście Meksyk, wygrał z nim ponownie. Został po tej walce uznany za mistrza świata wagi piórkowej przez Kalifornię i Meksyk. 2 lutego 1935 w Meksyku wygrał przez nokaut w 4. rundzie z Chalkym Wrightem, a 16 grudnia tego roku w Cleveland z Jackie Sharkeyem. 7 lutego 1936 w Nowym Jorku pokonał go Lou Ambers, a 4 sierpnia w Los Angeles Henry Armstrong odebrał mu tytuł mistrza świata.