Biograf Madonny, , napisał, że Madonna narzeka w piosence na szowinizm swojego ukochanego, śpiewając w bardziej niż zazwyczaj „wyrafinowany i ekspresyjny” sposób. Es Masley, dziennikarz czasopisma „”, ocenił, że tekst funkcjonuje „w służbie seksualnego pragnienia” i składa się z seksualnych aluzji. Porównał go do piosenek z epoki girls bandów. Schrodt wyraził opinię, że delikatne akordy z początku piosenki „oddają spokój życia” przed następującym później tematem „burzliwego i, sądząc po brzmieniu, toksycznego romansu”.
Wydanie Premiera albumu Madonna, na którym znalazł się „Borderline”, odbyła się 27 lipca 1983 roku. 15 lutego 1984 roku utwór został wydany w Stanach Zjednoczonych jako czwarty promujący go singel, z „Think of Me” na stronie B. W skali świata był piątym singlem, jako że „Lucky Star” ukazał się w Europie we wrześniu 1983 roku, przed premierą w Stanach. „Borderline” poza Stanami ukazał się 2 czerwca 1984 roku jako piąty singel, a 13 stycznia 1986 roku został ponownie wydany w Europie.