Secondo la fonte più attendibile, sant'Efrem morì il 9 giugno del 373, in una città che per lungo tempo fu la patria spirituale del cristianesimo di lingua siriaca, Edessa (l'attuale Urfa nel sud-est della Turchia, ad est dell'Eufrate.) Edessa era stata la sede di una dinastia locale di stirpe araba e, secondo la tradizione già nota a Eusebio all'inizio del IV secolo, uno dei suoi re, Abgar il Nero, era stato in corrispondenza con Gesù. Ai pellegrini, come la monaca spagnola Egeria alla fine del IV secolo, veniva mostrata la lettera che Gesù avrebbe mandato ad Abgar in risposta, dove egli avrebbe promesso di spedire, dopo la sua ascensione, uno dei suoi discepoli a guarire Abgar da una malattia e a predicare il Vangelo. La versione siriaca di questa storia menziona un ritratto di Gesù, dipinto da un emissario di Abgar, ed è questo che fondamentalmente sta dietro il famoso mandylion di Edessa, per la prima volta testimoniato nel VI secolo, trasportato poi a Costantinopoli nel 944.

Sebbene non manchino notizie sulla vita di Efrem in varie lingue, sono tutte tardive e piene di episodi semplicemente leggendari, come una visita in Egitto ed un incontro con san Basilio nel corso del quale a sant'Efrem sarebbe stata miracolosamente concessa la conoscenza del greco. Ma, sebbene storie come queste non riescano a reggere il rigore della critica storica, a volte possono essere indicative di relazioni più profonde: così sant'Efrem e san Basilio hanno davvero molto in comune, e ciò emerge soprattutto nella loro comune battaglia contro l'arroganza intellettuale degli ariani, che dichiaravano che la natura di Cristo potesse essere pienamente definita. Sia Efrem che Basilio sottolineano più volte che un tale mistero non può essere in alcun modo racchiuso o descritto dall'intelletto umano.

Dei particolari della vita di sant'Efrem in realtà si conosce pochissimo. Dev'essere nato attorno al 306, nella regione di Nisibi (ad est di Edessa, a quel tempo all'estremità più orientale dell'impero romano). Da un raro cenno autobiografico sembrebbe che entrambi i suoi genitori fossero cristiani (contrariamente all'affermazione nella Vita siriaca di Efrem, secondo la quale suo padre figura come un prete pagano). In un'epoca in cui molta gente rimandava il battesimo fino a tarda età, sant'Efrem fu probabilmente battezzato quando era giovane. Trascorse tutti gli anni della sua vita, tranne gli ultimi dieci, a Nisibi, dove servì come diacono una serie di autorevoli vescovi, a iniziare da san Giacomo di Nisibi, la cui fama assunse presto proporzioni leggendarie. Durante questo periodo, Nisibi subì vari assedi per mano del re persiano sassanide Shapur II, e questi tempi agitati sono l'oggetto di parte di una collezione di inni nota come Inni di Nisibi.

Nel 363, come parte del trattato di pace tra l'impero persiano e quello romano dopo la morte improvvisa dell'imperatore Giuliano nel cuore della Mesopotamia, Nisibi, città di frontiera, fu consegnata ai Persiani, ed una buona parte della sua popolazione cristiana, tra cui Efrem, lasciò le proprie case per andare a risiedere più ad ovest, in territorio romano. Alla fine Efrem scelse di stabilirsi ad Edessa, dove il cristianesimo era stato seminato all'inizio da uno dei Settanta, Addai, mandato là in conseguenza della lettera di Abgar a Gesù.

Sebbene la corrispondenza tra Abgar e Gesù sia apocrifa, è possibile che il cristianesimo abbia raggiunto Edessa prima della fine del I secolo, per quanto la prima prova sicura della sua presenza risalga solo ad un secolo dopo. Ai tempi di Efrem Edessa era un centro intellettuale molto più di Nisibi, e ciò significa che egli andò incontro, forse per la prima volta, alla varietà di eresie che fiorivano nella atmosfera semi-ellenizzata della città. Edessa era stata la patria del famoso Bardesane, e sia i Marcioniti che gli Ariani vi erano forti, così come i seguaci di Mani, il creatore di quella religione straordinariamente sincretista che si diffuse proprio attraverso l'Asia durante il primo millennio.

Bardasane e Mani avevano diffuso le loro dottrine in una forma poetica popolare, ed Efrem (come Agostino dopo di lui) prese provvedimenti per difendere la cristianità ortodossa allo stesso modo, organizzando cori di donne per cantare gli inni che egli scriveva appositamente. È probabile che proprio una gran parte della sua opera rimasta risalga agli ultimi dieci anni della sua vita ad Edessa. Fu da lì che la sua fama si diffuse rapidamente verso ovest, al mondo di lingua greca. Girolamo, che scrive solo pochi decenni dopo la morte di Efrem, conosceva già le traduzioni greche di alcune delle sue opere.