W późniejszym okresie wpływy rodu Eltzów były znaczne. Członkowie rodu byli reprezentantami największych arcybiskupstw Rzeszy – Trewiru i Moguncji. Sprawowali również funkcję elektorów Rzeszy. W dobie reformacji Eltzowie wspierali obóz katolicki. Arcybiskup Trewiru, Jakub III von Eltz (1567–1581), był jednym z uczestników soboru trydenckiego. W służbie trewirskich elektorów działał jako marszałek polny Jan Jakub von Eltz.
Apogeum wpływów rodzina osiągnęła w pierwszej połowie XVIII w. za panowania Filipa Karola, duchowego przywódcy niemieckich katolików. Bogate włości rodu znajdowały się na terenie całych Niemiec: w pobliskiej Koblencji, ponadto w Boppard, Würzburgu, Elteville. W XVIII w. Eltzowie kupili leżący niedaleko Belgradu Vukovar za sumę 175 tys. reńskich guldenów.
Podczas wojny o Palatynat (1688–89) zamek uległ zniszczeniom, wkrótce go odbudowano. W latach 1794–1815 warownię okupowały wojska francuskie, zamek służył jako rezydencja komendanta oddziału okupującego Koblencję. Graf Hugo Philipp zu Eltz, ówczesny właściciel rezydencji wyemigrował.