Bergavenny był czterokrotnie żonaty. Po raz pierwszy ożenił się przed 1494 r. z Joan FitzAlan, córką Thomasa FitzAlana, 17. hrabiego Arundel, i Margaret Woodville, córki 1. hrabiego Rivers. George i Joan mieli razem jedną córkę: Elizabeth Neville (ur. ok. 1495), żona Henry’ego Daubneya, 1. hrabiego Bridgewater, nie miała dzieci
Drugą żoną Bergavennyego została przed 21 grudnia 1495 r. Margaret Brent (przed 1485 – po 3 sierpnia 1516), córkę Williama Brenta i Anne Rosmoderes, córki Williama Rosmoderesa. Małżonkowie nie mieli razem dzieci.
Ok. czerwca 1519 r. poślubił lady Mary Stafford, córki Edwarda Stafforda, 3. księcia Buckingham, i Alianore Percy, córki 4. hrabiego Northumberland. George miał z nią trzech synów i sześć córek: Dorothy Nevill (zm. 22 września 1559), żona Williama Brooke’a, 10. barona Cobham, miała dzieci John Nevill, zmarł młodo Thomas Nevill Catherine Nevill, żona Johna St. Legera, nie miała dzieci Margaret Nevill, żona Johna Cheneya, nie miała dzieci Joan Nevill, żona sir Henry’ego Pole'a, nie miała dzieci Ursula Nevill, żona Wenhama St.