Mimo to, gdy zmarł w 1035 w drodze powrotnej z Ziemi Świętej, jego syn napotkał poważne trudności w objęciu władzy w księstwie.
Wilhelm Zdobywca (1035–1087) thumb|Księstwo Normandii z zaznaczonymi zamkami książęcymi Małoletni Wilhelm nie był w stanie zapobiec rozpadaniu się księstwa, coraz więcej hrabiów i wicehrabiów ignorowało zwierzchność książęcą i prowadziło własną politykę. Dopiero pomoc króla francuskiego Henryka I (1047) i zwycięstwo w bitwie pod Val-ès-Dunes zapewniło władzę Wilhelmowi. Po tym wydarzeniu Wilhelm wraz z królem rozpoczęli walkę z księciem Andegawenii Godfrydem Młotem co zaowocowało przyłączeniem Maine. Ten nagły wzrost potęgi Wilhelma zaniepokoił Henryka, który w sojuszu z Godfrydem dwukrotnie najechał na Normandię. Wilhelm odparł oba ataki, pokonując przeciwników w bitwach pod Mortemer (1054) i Varaville (1058). Wojnę zakończyła jednak dopiero śmierć Henryka i Godfryda w 1060 roku. Na tronie francuskim zasiadł teraz małoletni Filip I, którego opiekunem został Baldwin V, książę Flandrii i teść Wilhelma, te dwa czynniki zapewniały Wilhelmowi pełne bezpieczeństwo od strony Paryża, dzięki czemu mógł on pozwolić sobie na znacznie szersze projekty. W 1062 roku zhołdował Maine i Ponthieu, próbował także zająć całe Vexin.