Pozostając w Izraelu, zmienił swe imię na brzmiące bardziej hebrajsko – Abba. Był pierwszym reprezentantem Państwa Izrael w ONZ, gdzie odniósł sukces, uzyskując zgodę Narodów Zjednoczonych na podział Palestyny na część żydowską i arabską (Rezolucja 181). Jednocześnie był ambasadorem w USA. Jego umiejętności oratorskie, z których był znany, a także biegła znajomość dziesięciu języków zapewniły poparcie dla Izraela kilku niezdecydowanych krajów (choć większość była mu niechętna lub nawet wroga). W 1952 został wybrany na wiceprzewodniczącego Zgromadzenia Ogólnego NZ.
W 1959 opuścił USA i powrócił do Izraela, gdzie został wybrany do Knesetu z listy partii Mapai. W dziewiątymi dziesiątym rządzie premiera Dawida Ben Guriona pełnił stanowisko ministra edukacji i kultury od 1960 do 1963, potem został wiceministrem w rządzie Lewiego Eszkola. W latach 1959–1966 był także prezesem Instytutu Weizmana w Rechowot.
W latach 1966–1974 sprawował urząd ministra spraw zagranicznych, bronił opinii o Izraelu po wojnie sześciodniowej. Był zdecydowanym zwolennikiem zwrotu Arabom terytoriów wówczas zagarniętych w zamian za pokój.