Pod koniec 1920 Nishani powrócił do Albanii. Osiadł w Durrësie, gdzie otworzył prywatną klinikę dermatologiczną. W roku 1923 został wybrany deputowanym okręgu Durres do parlamentu albańskiego, w którym zasiadał do 1924. W tym samym roku znalazł się w składzie pierwszej delegacji albańskiej, która podjęła rozmowy dotyczące uznania ZSRR przez Albanię. Upadek rządu Fana Nolego w 1924 spowodował ucieczkę z kraju jego zwolenników, w tym Nishaniego. Na emigracji (we Włoszech i w Austrii) spędził on kolejne 15 lat swojego życia. Wtedy też związał się z działającą na emigracją organizacją KONARE (Komitet Narodowo-Rewolucyjny). W 1925 jako wysłannik tej organizacji próbował wrócić do Albanii, ale został aresztowany przez policję i wydalony z kraju. Wspólnie z Halimem Xhelo powołał do życia czasopismo „Liria Kombetare” (Wolność narodowa), wydawane początkowo w Genewie, a następnie w Wiedniu. Przez 6 lat był redaktorem naczelnym tego czasopisma. Działalność skierowana przeciwko reżimowi Ahmeda Zogu spowodowała, że sąd w Tiranie skazał Nishaniego in absentia na karę śmierci i konfiskatę majątku.