Zdobycie tytułu mistrza świata nie przyniosło Spasskiemu szczęścia. Sam określał lata panowania na szachowym tronie jako najnieszczęśliwszy okres w jego życiu. Szachy w Związku Radzieckim były sportem narodowym, tytuł mistrza świata – niemalże kwestią racji stanu. Niechęć Spasskiego do polityki, presja „czynników oficjalnych” i otoczenia oraz samotność mistrza sprawiały, że czuł on coraz większą niechęć do szachów. Tymczasem stawało się jasne, że w obronie tytułu będzie musiał zmierzyć się z odnoszącym niewiarygodne sukcesy Bobbym Fischerem, którego Tal nazwał „największym geniuszem, jakiego mogło zesłać szachowe niebo”. W 1972 roku w Reykjavíku zorganizowano mecz. Przez radzieckie władze był on postrzegany jako starcie postępowego świata socjalizmu ze zgniłym amerykańskim imperializmem. Meczowi towarzyszyły trudności z ustaleniem terminu i miejsca, długa lista warunków, przedstawiona przez Fischera. Na drugą partię Fischer nie przyszedł – poddał ją walkowerem i władze radzieckie naciskały na Spasskiego, aby przerwał mecz i wrócił do Moskwy, tym samym wygrałby walkowerem cały mecz. Spasski jednak zdecydował się kontynuować mecz, który zakończył się jego porażką. Do kraju wrócił w niesławie.