Koncertowa wersja „Heaven Beside You”, zarejestrowana podczas występu z serii MTV Unplugged w 1996, została zamieszczona na albumie koncertowym Unplugged. W późniejszym czasie kompozycja ukazała się na trzech albumach kompilacyjnych grupy – Music Bank (1999), Greatest Hits (2001) i The Essential Alice in Chains (2006).
Odbiór Krytyczny Ned Raggett z serwisu AllMusic napisał: „«Heaven Beside You» kontynuuje styl Jar of Flies z prowadzącym akustycznym riffem i niską tonacją na początku utworu”. Autor podkreślił harmonie wokalne Staleya i Cantrella, które jego zdaniem są „dziwnie piękne”. Terry Pettinger z magazynu „Circus” przyznawał: „Jedna z najsilniejszych kompozycji na albumie, «Heaven Beside You», jest kierowana do ślepo krytykujących naciągaczy religijnych. Głęboko oparta na bluesie z delikatną melodią, podkreślającą pustkę ludzi, którą ma opisywać”. Jason Arnopp z brytyjskiego tygodnika „Kerrang!” porównał brzmienie utworu do ery albumu The Rise and Fall of Ziggy Stardust and the Spiders from Mars Davida Bowiego. Ze względu na wiodące elementy folkowo-akustyczne, Jon Wiederhorn z „Rolling Stone’a” przyrównał „Heaven Beside You” do minialbumu Jar of Flies.