El Castillo to budowla o wymiarach 75 × 72 m, pierwotnie miała trzy kondygnacje, obecnie zachowana ruina ma wysokość 13,0 m. Cokół wykonany został z ociosanego kamienia, mury zostały ozdobione osadzonymi na trzpieniach kamiennymi głowami przypominających głowy kota oraz fryzem z wyobrażeniem kondora. Portal wejściowy obramowany został dwoma kolumnami o wysokości 2,30 m i średnicy 0,90 m. Dekorację kolumn stanowią wyobrażenia postaci ze skrzydłami, ptasimi dziobami i kłami.
Przed El Castillo znajduje się czworokątny plac otoczony murem oporowym i dwoma innymi budynkami.
Druga ważna budowla zespołu Chavín de Huántar, Wczesna Świątynia, jest starsza od „zamku”. Jej wnętrze to labirynt niskich pomieszczeń, korytarzy, pochylni i schodów. Całość zaopatrzona jest w system pionowych i poziomych kanałów wentylacyjnych, nadal czynnych.
Wewnątrz znajduje się kamienna stela nazywana El Lanzón – Duża lanca. Jest to wysoki na 4,5 m granitowy monolit o trójkątnym przekroju. Cieńszy jego koniec zwrócony jest w dół, część górna przechodzi przez kamienne przekrycie krzyżujących się nad nim galerii. Galerie przecinają się pod kątem prostym, tworząc plan krzyża łacińskiego, a „sztylet” znajduje się dokładnie w osi ich przecięcia.