Plan zamku Zamek składał się z zamku właściwego, usytuowanego na szczycie góry, wzniesionego na planie nieregularnego pięcioboku, oraz z przygródka usytuowanego od strony północnej i bronionego przez wał ziemny. Dziedziniec zamku był z trzech stron otoczony murami; z czwartej strony zamykał go dwuczęściowy budynek mieszkalny wzniesiony na planie prostokąta. Do muru zachodniego przylegała od wewnątrz kamienna wieża o średnicy zewnętrznej u podstawy 9,5 m i wewnętrznej 2,4 do 2,6 m, zbudowana z piaskowca, zachowana do wysokości około 10 m. Wskazywano, że wieża zamku w Rytrze wykazuje pewne podobieństwo do wieży zamku w Czchowie.
Zamek w Rytrze i zamek w Czchowie to typowe założenia zamku typu wyżynnego bergfridowego, gdzie stojąca w czole obwodu obronnego zamku wieża broni swoim masywem domu mieszkalnego, ulokowanego w przeciwległym, najbardziej bezpiecznym miejscu warowni. Pojawienie się tego typu zamków przypisuje się wpływom niemieckim (Hesja, Turyngia), które poprzez Czechy, Morawy i Śląsk dotarły do Małopolski.
Stan obecny Z zamku zachowały się ruiny wieży i resztki muru, prawdopodobnie budynku mieszkalnegoG. Leńczyk, Katalog grodzisk i zamczysk z terenu Małopolski, Muzeum Archeologiczne w Krakowie, Kraków 1983, s. 29..