Dzimis Praulienas pagasta "Vecsētās" dzirnavnieka ģimenē. Bērnību pavadījis Liezēres pagastā. 1922. gadā iestājas Latvijas konservatorijā, kur viņš pie profesora Jāzepa Vītola mācījās kompozīcijas teoriju, līdztekus apgūdams klavieru spēli pie Arvīda Dauguļa, diriģēšanu pie Emīla Kupera un Georga Šnēfogta.
Studiju laikā un pēc konservatorijas absolvēšanas (1930) viņš bija mūzikas skolotājs Pļaviņās (1927–1928) un Rīgas apriņķa vidusskolā Siguldā (1928–1935). No 1935. gada bija kora "Zemes Spēks", Darba kameras kora diriģents, novada dziesmu svētku virsdiriģents un Tautas teātra muzikālās daļas vadītājs.
Otrā pasaules kara beigās 1944. gadā Norvilis devās bēgļu gaitās uz Vāciju. 1950. gadā pārcēlās uz Kanādu, kur strādāja par Ontārio provinces Kičeneras pilsētas draudzes ērģelnieku un koru diriģentu. Bija pirmo piecu Kanādas latviešu Dziesmu svētku virsdiriģents (1953, 1957, 1961, 1965, 1970) un latviešu koru biedrības Kanādā priekšsēdētājs (1962-1967).
Dziesmas "Daugav' abas malas" un "Svēts mantojums" skanēja tautas manifestācijā "Par tiesisku valsti" Mežaparkā un citos Atmodas laika masu pasākumos.
1991. gadā  piešķirta Pasaules brīvo latviešu apvienības goda balvu par mūža darbu.
2009. gadā Madonas mūzikas skolai piešķir nosaukumu "Jāņa Norviļa Madonas mūzikas skola".