Z czasem wybrali nawet zamek Andros jako ich główną siedzibę. Wyspa podobnie jak inne Cyklady, była atakowana przez pirata Rogera de Llurię. W grudniu 1371 wyspa została przyznana Marii Sanudo, siostrze ostatniego zamordowanego księcia z dynastii Sanudo - Mikołaja III. Francesco I Crispo, nowy władca Naksos nadal wyspę zdolnemu dyplomacie Pietro Zeno. Zeno uniknął ataków osmańskich, ale został zmuszony złożyć hołd sułtanowi. Andros była zmuszona złożyć hołd Turkom i zapewnić bezpieczną przystań i schronienie dla osmańskich okrętów. W 1416 wyspa została jednak najechana i prawie cała jej ludność została uprowadzona w niewolę. W tym samym czasie wyspa została również najechana przez Arwanitów, którzy z atakując z Eubei osiedlili się północnej części. W 1431 po zniszczeniu przez Wenecjan Genueńskiej kolonii na Chios, Genueńczycy zajęli Andros i Naksos. Jedynie umiejętna dyplomacja książąt Naksos zdołała zapobiec całkowitej aneksji wyspy przez Genuę. W 1427 zmarł Pietro Zeno, jego następcą był syn Andrei Zeno. Po jego śmierci (1437) Wenecja przejęła bezpośrednio wyspę wysyłając tam gubernatora. Do wyspy rościło sobie prawa wiele osób. Jednym z nich był syn Marii Sanudo - Crusino I Sommaripa, władca Paros i jeden z władców Triarchi na Negroponte, który został władcą w 1440 roku. Po nim panowali jego potomkowie.