Zabudowa wsi ułożyła się w kształcie ulicówki wzdłuż jeziora, od którego zapożyczyła swoją nazwę (Allmoyne). Uczony Gerullis zaliczał ją do nazw prusko-litewskich, lit. 'alme' – ropa. Polska nazwa Jełmuń pochodzi najprawdopodobniej od jemioły. Jełmuń otrzymał szkołę przed 1740 r. w 1818 r. wykładał w niej po polsku 54 dzieciom (również z Choszczewa) Jerzy Niesyta. W roku 1928 dwór przeszedł w posiadanie rodziny Zuhlke. Dwór pozostawał ich własnością aż do grudnia 1944 roku. Do 1939 r. pozostawała ona jednoklasowa, a w 1935 r. uczęszczało do niej 65 uczniów. Wieś ta należała do parafii w Sorkwitach. W 1939 r. liczyła 309 mieszkańców. Po 1955 roku w Jełmuniu powstał PGR, a we dworze urządzono mieszkania dla pracowników PGR. Od 2000 roku własność prywatna, w tym czasie rozpoczęto remont dworu (właścicielem została dr Barbara Trzeciak, doktor socjologii). Obecnie mieści się całoroczny pensjonat.
Dwór w Jełmuniu opisany został przez Katarzynę Enerlich w książce "Prowincja pełna smaków" (2013 r.).