W 1291 Albrecht mający problemy finansowe sprzedał margrabiom brandenburskim odziedziczone w tym samym roku margrabstwo Landsbergu, przeciwko czemu zaprotestowali synowie. W tym samym roku zmarł Fryderyk Tuta i Albrecht formalnie zrzekł się Miśni na rzecz syna Fryderyka, ale już wkrótce nowy król Niemiec Adolf z Nassau ogłosił, że jako opuszczone lenno po śmierci Tuty winna ona przypadać bezpośrednio pod jego władzę. Po kilkuletniej wojnie Adolf zdołał pokonać i wyrugować z Miśni synów Albrechta. Wykorzystał przy tym zrzeczenie się na jego rzecz w 1294 roszczeń do Miśni przez Albrechta, który jednocześnie sprzedał Adolfowi ostatnią ze swych głównych domen, Turyngię, i to mimo zawartego rok wcześniej układu z synem Diezmannem, zgodnie z którym ten miał po nim ją dziedziczyć.
Przydomek „Wyrodny” Albrecht otrzymał jeszcze za swego życia i zawdzięczał go całkowitemu roztrwonieniu przez siebie dziedzictwa po ojcu.
Z małżeństwa Albrechta z Małgorzatą Hohenstauf (córką cesarza Fryderyka II), zawartego w 1254, pochodziło trzech synów: Henryk