Zaczyna się krótkim wstępem na gitarze akustycznej, przypominającym brzmienie country, po którym dołącza sekcja rytmiczna. Przez cały okres trwania zwrotki, słychać jest gitarę akustyczną, której gra wysunięta jest na pierwszy plan. W refrenach utworu, za sprawą gitary elektrycznej, utwór zyskuje na większej dynamice.
Teledysk Teledysk do „Heaven Beside You” został zrealizowany zimą 1995 i wyreżyserowany przez amerykańskiego artystę i fotografa Franka W. Ockenfelsa III. Procesem produkcji zajęła się Lynn Zekanis. Odrzucone zdjęcia do wideoklipu zostały wydane na mockumencie The Nona Tapes w reżyserii Rocky’ego Schencka z grudnia 1995. Teledysk został zamieszczony na albumie kompilacyjnym Music Bank: The Videos (1999).
Wydanie Singel „Heaven Beside You” został opublikowany w styczniu 1996 nakładem wytwórni Columbia. Na terenie Australii i Europy ukazały się rozszerzone wersje singla, zawierające dodatkowo koncertowe nagrania utworów, zarejestrowane 2 marca 1993 w Barrowland Ballroom w Glasgow na potrzeby audycji Friday Rock Show emitowanej w BBC Radio 1.