Na północny zachód od najwyższego wierzchołka wznoszą się trzy skaliste kulminacje Kozich Czub (kolejno od południowego wschodu: 2264 m, 2257 m i 2236 m), oddzielone od głównego szczytu Kozią Przełęczą Wyżnią (2235 m).
Po stronie północnej masyw opada stromo ścianami o wysokości sięgającej 210 m do Dolinki Koziej (górne piętro Doliny Gąsienicowej). Urwiska te są ograniczone z lewej (wschodniej) strony Żlebem Kulczyńskiego, a z prawej (zachodniej) strony – północno-wschodnim żlebem Koziej Przełęczy. Pomiędzy żlebami znajduje się Filar Leporowskiego, na którym zginął w 1928 r. Jerzy Leporowski. Wysokie, 250-metrowe południowo-zachodnie ściany Koziego Wierchu i Kozich Czub opadają też do Dolinki Pustej. Na wszystkich tych ścianach wytyczono wiele dróg wspinaczkowych o różnym stopniu trudności. Na południowy wschód, do Doliny Pięciu Stawów Polskich opada łagodnie nachylone (ok. 30°), szerokie zbocze. Rozcięte jest ono kilkoma płytkimi żlebami, z których najwybitniejszy jest Szeroki Żleb. Środkowa część zbocza jest przykładem starego stoku, nieprzeobrażonego przez lodowce.