Konstrukcja Obserwatorium Herschela składało się z dwóch elementów – modułu ładunku (ang. Extended Payload Module) i modułu serwisowego (ang. Service Module).
Głównym elementem modułu ładunku był teleskop Cassegraina zbudowany ze spiekanego węgliku krzemu ze zwierciadłem głównym o średnicy 3,5 m i zwierciadłem wtórnym o średnicy 308 mmSein, E., et al. A 3.5 m diameter SiC telescope for Herschel mission 2003-03-01. Był to największy z dotychczas skonstruowanych teleskopów kosmicznych. Zwierciadła ogniskowały światło w zakresie podczerwieni w znajdującej się poniżej, wewnątrz kriostatu, płaszczyźnie ogniskowej. Wewnątrz kriostatu umiejscowiono, wymagające niskiej temperatury do pracy, elementy trzech instrumentów naukowych. W zbiorniku kriostatu zmagazynowane było 2300 litrów nadciekłego helu, utrzymywanego w temperaturze wrzenia 1,65 K (-271,5 °C). Wrzący hel tworzył gaz zaopatrujący układy chłodzenia i stopniowo opróżniał zbiornik kriostatu. Bolometry instrumentów SPIRE i PACS były dodatkowo schładzane do temperatury 0,3 K. Osłona słoneczna chroniła teleskop i kriostat przed promieniowaniem słonecznym i rozproszonym światłem Ziemi. Zewnętrzna powierzchnia osłony była częściowo pokryta przez dostarczające energii elektrycznej ogniwa słoneczne.