Warstwa liryczna Efrim Menuck jest autorem większości tekstów zespołu, ale inni członkowie również nierzadko mają swój wkład. W warstwie lirycznej wyraźne są motywy polityczne, obejmujące różnorodne tematy, od anarchizmu po wojnę i wolność. 13 Blues for Thirteen Moons, wydany w marcu 2008, był pierwszym albumem zawierającym arkusze z tekstami we wkładce.
Dyskografia LP He Has Left Us Alone but Shafts of Light Sometimes Grace the Corners of Our Rooms (2000) jako: A Silver Mt. Zion Born Into Trouble As The Sparks Fly Upwards (2001) jako: The Silver Mt. Zion Memorial Orchestra & Tra-La-La Band This is Our Punk-Rock, Thee Rusted Satellites Gather + Sing (2003) jako: The Silver Mt. Zion Memorial Orchestra & Tra-La-La Band with Choir Horses in the Sky (2005) jako: Thee Silver Mt. Zion Memorial Orchestra & Tra-La-La Band 13 Blues for Thirteen Moons (2008) jako: Thee Silver Mt. Zion Memorial Orchestra & Tra-La-La Band Kollaps Tradixionales (2010) jako: Thee Silver Mt. Zion Memorial Orchestra 2014: Fuck Off Get Free We Pour Light on Everything jako: Thee Silver Mt.