Konflikt z Kastylią Na końcowy okres rządów Alfonsa V przypadł konflikt z Kastylią, przez który zaniedbał on inne sprawy, w tym także kwestię odkryć geograficznych. Po śmierci króla Kastylii, Henryka IV, w 1474 Alfons podjął próbę zdobycia tronu sąsiedniego królestwa. Najechał Kastylię, korzystając z poparcia kilku potężnych kastylijskich rodów szlacheckich. Przegrał ostateczną bitwę, nad rzeką Toro, w 1476 z główną konkurentką do tronu, Izabelą Kastylijską, którą popierała drobna szlachta i niższe warstwy społeczeństwa. Po tej bitwie sprzymierzeńcy Alfonsa przeszli do obozu Izabeli i jej męża Ferdynanda Aragońskiego. Do unormowania stosunków z Kastylią doszło w 1479, gdy podpisano traktat pokojowy w Alcáçovas, w którym w zamian za rezygnację z korony kastylijskiej król portugalski otrzymał ważne koncesje i przywileje handlowe w Afryce.
Koniec rządów Choć już w 1477 Alfons V przekazał rządy swemu synowi, to faktycznie obaj sprawowali władzę. Formalnie jego syn Jan zajął się portugalską ekspansją zamorską. Ostatnie lata życia Alfons V poświęcił kulturze i nauce, przejawiając zainteresowania literaturą, jako pierwszy władca założył w Portugalii bibliotekę z siedzibą w Coimbrze.