Elling var fødd på garden Sundve på Vossestrand. Han var son til Øyel Ingebriktson Sundve og Anna Erlandsdotter f. Sundsvoll-Finne.
Han vart ein av Noregs mest kjende lekpredikantar. Sommaren 1839 emigrerte han til Amerika. Her vart han nokre år seinare ordinert til den første norske presten i Amerika.
Ved inngangen til Vinje kyrkje er det reist ein minnestein med relieff av Elling Eielsen Sundve. Sjølve steinen er komen frå Skjervheim i Myrkdalen. Relieffet av Eielsen-andletet er henta frå utskjering i ei tresøyle ved inngangen til det gamle kunst- og formingsbygget ved St. Olaf College, Northfield, Minnesota, USA. Det er opphaveleg utført av luthersk prest og kunstprofessor Dr. Arnold Flaten. Relieffet - tilrettelegging og støyping - er utført av Mac Gimse, ein av arvtakarane etter professor Flaten ved St. Olaf.
Under relieffet er det ei koparplate med innskrifta:
Elling Eielsen Sundve 1804-1883. Vandrande haugianar - forkynnar. Fyrste lutherske prest mellom utflytte nordmenn i USA.
Relieffet er ei gåve frå Amerika.
Minnesteinen vart avduka av formannen i Vinje sokneråd, Einar Midtun, sundag 16. november 1980, med dei siste orda som Elling Eielsen sa: ”Åleine for Jesu Kristi skuld”.
Desse orda er også å lesa på minnesteinnen.
Kjelde: ”Elling Eielsen Sundve 1804–1883” frå 1980.