Obaj chłopcy przez następnych kilka lat są dręczeni przez innych uczniów – Albus ze względu na to, że nie potrafi dorównać legendzie ojca, a Scorpius z powodu plotek, jakoby był synem Lorda Voldemorta. Z czasem Astoria umiera na śmiertelną chorobę, a Harry i Albus oddalają się od siebie, ponieważ chłopak nie potrafi żyć w cieniu ojca, Harry zaś nie wie, jak poradzić sobie z tym problemem. Albus oddala się również od Rose, z którą wcześniej się przyjaźnił. Przed rozpoczęciem czwartego roku nauki Albus wdaje się w kłótnię z ojcem, który stwierdza, że czasami wolałby, żeby Albus nie był jego synem. Albus ze złości wylewa eliksir miłosny na kocyk Harry’ego – jedyną jego pamiątkę z dzieciństwa.
Harry wchodzi w posiadanie potężniejszej wersji zmieniacza czasu, pozwalającego podróżować dalej w przeszłość i zmieniać historię. W tym samym czasie ponownie zaczyna dokuczać mu blizna, przez co zaczyna sądzić, że Voldemort może powrócić. Amos Diggory, znajdujący się pod opieką swojej siostrzenicy Delphi, prosi Harry’ego, żeby użył zmieniacza i zapobiegł śmierci jego syna, Cedrika. Harry nie zgadza się, jednak rozmowę podsłuchuje Albus, który przekonuje Scorpiusa, żeby pomógł mu zdobyć zmieniacz.