Nie została jednak zauważona, w dużej mierze ze względu na jej skromny ubiór i styl bycia. Wygrała wtedy nagrodę pieniężną, dzięki której mogła kupić lekarstwa dla dziecka, co jednak niestety nie uratowało mu życia.
W wieku 14 lat po raz drugi zaszła w ciążę. Mając 15 lat urodziła drugie dziecko, które także przyszło na świat przedwcześnie i żyło zaledwie kilka dni.
W wieku 20 lat została wdową – jej mąż zmarł na tuberkulozę. Miała wówczas pod opieką pięcioro dzieci – czterech chłopców i dziewczynkę, która była niemowlęciem. Aby utrzymać rodzinę podejmowała się różnych prac: sprzątała mieszkania, pracowała w pralni. Marzyła o śpiewaniu i mimo małej ilości wolnego czasu występowała w pobliskich barach. right|330px|thumb|Elza Soares, 1967 r. W wieku 25 lat poznała słynnego piłkarza Garrinchę. W czasie rozkwitu jej kariery muzycznej, wdała się w romans z żonatym sportowcem, który rozwiódł się, aby kontynuować nowy związek. Spotkało się to z ostrą reakcją lokalnej społeczności. Grożono jej śmiercią, a dom był obrzucany jajkami i pomidorami. Garrincha i Elza zawarli związek małżeński w 1966 w Boliwii, nieopodal ambasady Brazylii w tym państwieRuy Castro. Estrela solitária: um brasileiro chamado Garrincha. — Companhia das letras, 1995. . Małżeństwo z Garrinchą trwało ponad 10 lat. Piłkarz był alkoholikiem.