Podczas wojen napoleońskich, 14 lutego 1810 roku Brytyjczycy wysadzili w powietrze dwa hiszpańskie forty San Felipe i Santa Barbara po hiszpańskiej stronie granicy, aby uniknąć możliwości opanowania ich przez Francuzów.
Naruszanie strefy neutralnej rozpoczęło się w 1815 roku, kiedy Brytyjczycy, za zgodą Hiszpanii, zbudowali poza murami twierdzy tymczasowy obóz dla izolowania chorych na żółtą febrę, po czym sytuacja powtórzyła się w 1854 roku, kiedy dodatkowo zbudowano w strefie budki strażnicze i obóz wojskowy. Budki strażnicze, ale po swojej stronie granicy, zbudowali też Hiszpanie. W 1876 roku gubernator brytyjski urządził w strefie neutralnej ogrody, a następnie zbudował tam tor dla wyścigów konnych, z których korzystali też Hiszpanie i co nie spotkało się ze sprzeciwem. Do 1881 roku teren zajęty przez Brytyjczyków rozciągnął się na 800 m od skały gibraltarskiej. Obszar ten był określany jako North Front.