Scheffler János 1887. október 29-én született a ma Romániához tartozó Kálmánd községben, sok gyermekes, szegény, mélyen vallásos földműves szülők fiaként. Elemi iskolai tanulmányait szülőfalujában végezte. Hiába tűnt ki már ekkor társai közül értelmével, szüleinek nem volt pénze a taníttatására. A szatmárnémeti Királyi Katolikus Főgimnáziumba végül plébánosa ajánlásával vették fel, az első év után viszont kitűnő tanulmányi eredménye révén ösztöndíjjal folytathatta tanulmányait.
Érettségi után a Pázmány Péter Tudományegyetem Teológiai Karán tanult tovább. Már szeminarista korában nagy hatást gyakorolt rá a később szentté avatott X. Piusz pápa, aki szintén egyszerű szülők gyermeke volt, és papként, püspökként, sőt pápaként is megmaradt a kicsinyek, a szegények pártfogójának. Az Egyház belső megújulását szorgalmazta, erre utal pápai jelmondata is: Mindent megújítani Krisztusban. Ő kezdeményezte a gyakori szentáldozást és a gyermekek korai szentáldozását. Scheffler János egészen azonosult ezzel a programmal.
Scheffler Jánost szülőfalujában, Kálmándon szentelték pappá 1910. július 6-án. Néhány hónapig káplánként szolgált Csornaközön, majd ösztöndíjjal két évig Rómában tanult. 1912-ben a Pápai Gregoriana Egyetemen kánonjogból doktori címet szerzett. Miután visszatért szülőföldjére, rövid ideig irodai munkát végzett a püspökség székhelyén, Szatmárnémetiben. Ezt követően Ungváron segédlelkészként szolgált. Közben további tanulmányokat folytatott Budapesten. 1915-ben a hittudományok doktorává avatták. 1917 és 1923 között a Római Katolikus Főgimnázium hittanára és első igazgatója volt Szatmárnémetiben. A következő években volt plébános, tanár és spirituális. Számos tanulmánya jelent meg, írt hittankönyveket és lelkigyakorlatos könyveket is.
1942-ben a Szatmári Egyházmegye püspöke, majd nagyváradi apostoli kormányzó, végül 1948-ban az újraegyesített Szatmár-Nagyváradi Egyházmegye püspöke lett. Püspökként nagy hangsúlyt fektetett a hivatásgondozásra és a felnőttek világnézeti nevelésére, lelkigondozására. Hivatásának tekintette a papképzést és a szerzetesek lelki képzését, nevelését. Kisszemináriumot létesített Szatmárnémetiben, Nagykárolyban és Ungváron. Ő fogalmazta meg a Szatmári Irgalmas Nővérek átdolgozott szerzetesi szabályzatát. Nagyváradon a ferences nővérek gyóntatója volt. Szorgalmazta a Jézus Szíve- tiszteletet és Szűz Mária Szeplőtelen Szívének tiszteletét. 1948-ban a magyarországi imaévhez kapcsolódva saját egyházmegyéjében is meghirdette a Boldogasszony Évet.
Szociális érzékenysége különösen a világháború éveiben mutatkozott meg. Nemegyszer személyes közbenjárásával igyekezett segíteni letartóztatott, internált egyházi és világi személyeken. A zsidóság mentésében is részt vett, jóllehet a hatóságok többször is letartóztatással fenyegették.
A háború után kibontakozó kommunista rendszerrel szemben a püspök a nyílt konfrontálódás kerülésére törekedett. Igyekezett távol maradni a politikától, és papjait is erre ösztönözte. Az állami vezetéssel való összeütközést mégsem kerülhette el. A román kormány arra törekedett, hogy a romániai katolikus egyházat elszakítsa Rómától. 1948-ban felmondták a Szentszékkel kötött konkordátumot, és elkezdték az ún. nemzeti egyház megszervezését. Scheffler János egyházmegyéjét állami határozattal megszüntették. A püspök ekkor megszervezte a kispapok titkos, földalatti képzését. A kommunista hatalom ezután megpróbálta saját oldalára állítani, az elvei mellett szilárdan kitartó püspök azonban az állam érdekeit kiszolgáló báb szerepét nem vállalta.
1950-ben internálták. Közel két évet töltött a kényszerlakhelyéül kijelölt körösbányai ferences kolostorban. Csendes magányát imádsággal, írással töltötte. Az állami hatóságok eközben már koncepciós perének előkészítésén dolgoztak. 1952. március 11-én tartóztatták le és vitték Bukarestbe, ahol a belügyminisztérium vizsgálati fogságában tartották szeptember 12-ig. Innen a jilavai földalatti börtönbe szállították. Tárgyalására végül nem került sor, mivel a börtönben átélt kínzások és az embertelen körülmények következtében 1952. december 6-án meghalt.
Scheffler Jánost papjai és hívei is vértanúnak tekintették, aki hitéért, Krisztus és az Egyház iránti hűségéért áldozta életét. Boldoggá avatási eljárását a kommunista rendszer bukása után kezdeményezte a Szatmári Egyházmegye 1990-ben felszentelt püspöke, Reizer Pál a papok és a hívek kérésére. 2011. július 3-án avatták boldoggá Szatmárnémetiben. Az Egyház püspökké szentelése napján, május 17-én emlékezik a kommunizmus vértanújára.