Z tego powodu, w 1079 roku, bizantyjczycy zabili Gagika. Na wieść o zabójstwie Ruben zebrał krewnych i zbiegł do twierdzy w Kosidar, położonej na północ od Sis (współczesny Kozan). Zajęte przez niego tereny były trudno dostępne i łatwe do obrony.
Założenie księstwa Ruben ogłosił się władcą niezależnym od Bizancjum w 1080 roku, tworząc tym samym księstwo Cylicji. Skupił wokół siebie dawnych stronników króla Gagika i z ich pomocą rozszerzał swe władztwo w stronę równin cylicyjskich. W wyniku licznych kampanii wojskowych przeciwko siłom cesarskim opanował kilka twierdz, z których najważniejszą była Parcypert (Andırın we współczesnej Turcji). Forteca ta stała się siedzibą rodziny Rubena.
Ruben był wówczas tylko jednym z licznych książąt ormiańskich w Cylicji. Szukając sojuszników, został wasalem Wahrama, zwanego przez Greków Filaretem. Rządził on terenami rozciągającymi się od Tauru do Eufratu. Wspólnie wyprawiali się na wschód i południe, rozszerzając swoje panowanie.