Architektura zamku Głównym elementem XIV-wiecznej siedziby rodowej Pałuków był murowana wieża o podstawie prostokątnej (17x11), zbudowana z cegły na kamiennych fundamentach. Jej wnętrze na każdej kondygnacji podzielone było na trzy pomieszczenia, dwie ogrzewane kominkami izby i wąski trakt komunikacyjny (później) w postaci schodów. Pomieszczenia te powiększono optycznie poprzez wycięcie w ścianach ostrołukowych wnęk. Dostęp świeżego powietrza i światła zapewniały porozmieszczane w prosto rozglifionych wnękach niewielkie otwory okienne. Konstrukcję główną otaczały zapewne inne drewniane budynki i urządzenia obronne (prawdopodobnie wówczas jeszcze wał z palisadą). W drugiej połowie XV stulecia założenie zostało zmodernizowane: gmach podwyższono o dwa poziomy, przekształcając w wieżę mieszkalno-obronną z salą reprezentacyjną na piętrze górnym. Dziedziniec otoczono czworobokiem murów wzmocnionych cylindryczną wieżą położoną w narożniku północno-zachodnim oraz budynkiem bramnym w kurtynie zachodniej. Być może wtedy powstał też trzyizbowy dom w części południowej dziedzińca i ew. wieża wschodnia. Obronność zamku wzmacniała otaczająca go fosa zasilana wodą z leżącego tuż obok jeziorka Smolary.