I rzeczywiście, choć Anna urodziła piątkę dzieci, w tym czterech synów, wszystkie były słabego zdrowia i zmarły w wieku kilku lat, poza najmłodszym, urodzony 14 kwietnia 1578 w alkazarze w Madrycie Filipem, który choć również chorował w dzieciństwie, zdołał dożyć wieku dorosłego.
W roku 1582, po śmierci ostatniego z braci Filip został oficjalnie wyznaczony na następcę hiszpańskiego tronu. Wkrótce jednak król przekonał się, że syn nie był osobą predestynowaną do władania jednym z największych imperiów ówczesnego świata. Stary Filip do końca życia faworyzował więc obie córki. Uznawany za człowieka chłodnego i nieprzystępnego, Filip II jedynie w listach do córek przejawiał żar ojcowskich uczuć. Syn traktowany był przez niego z dystansem – król przyznawał, że Bóg nie obdarzył go męskim potomkiem zdolnym rządzić potężnym państwem i przewidywał, że kiedy Filip III założy koronę na skronie, to słudzy kierować będą postępowaniem słabego władcy. W swoich radach dla syna przestrzegał go przed wyznaczaniem faworytów i kazał podejrzliwie i z dystansem traktować doradców. Szybko miało się okazać, że przeczucie nie myliło starego Habsburga.