1536年3月，《基督教原理》付印后，加尔文匆促地横越阿尔卑斯山抵达费拉拉。据传统推断但非一般人承认的说法是，他去那里的目的是向新教徒的雷内（Renée）女公爵、埃尔克里公爵二世（Ercole II）之妻、已故路易十二之女，为被迫害的法国新教徒求救。加尔文的宗教热忱使女公爵深受感动，因此她即聘他为终身函授宗教教师。加尔文5月回到巴塞尔，不久，冒险回故乡努瓦永。他去故乡的目的在于出售一笔财产。事情处理完毕，加尔文携其一弟一妹赴斯特拉斯堡。行至途中阻于战火，他们到日内瓦便停了下来（1536年7月）。
日内瓦是瑞士法语区的首府，历史非常悠久。在史前时代，沿湖即有人在此生活。居民建有不少伟大房舍，这些房舍目前尚有存者。在恺撒时代，日内瓦是繁盛的商业中心。罗讷河自雷曼湖（Leman）出口，经法国入地中海，河湖交界处有一道桥梁，即昔日各商业通路交会之点。在中世纪，日内瓦受该城主教的统治。这里的主教不但是宗教领袖，也是政治领袖。在一般情形下，主教由天主教地区教会选出。地区教会事实上即该地的权力中心。日内瓦的政治结构，即未来加尔文教派结构的依据。15世纪，位于阿尔卑斯南麓的萨伏依公国，控制着日内瓦地区教会，并使地区的教会领袖沦为其附庸。自此以后，本来清正严明的政府腐化了，本来道德高尚的教士堕落了。一位神父居然这样说，只要他所属的传教士们不讨小老婆，他也不讨小老婆。诸如此类的风流韵事，充满日内瓦。
在宗教与公爵双重统治下，日内瓦豪门组成了一个60人议会。议会除负责制定法令外，另选出4人为执政。通常议会在主教大教堂，即圣彼得教堂举行。会中讨论的，宗教和民政各半。宗教民政，无一定之界，有时主教掌管铸币、率领兵马，议会整饬道德、管理娼妓。与特里尔、美因茨及科伦的主教一样，日内瓦主教也算是神圣罗马帝国的一路诸侯。不过，由于天高皇帝远，日内瓦主教的行动是很自由的。现在，当地几位民政领袖，在弗朗索瓦·邦尼瓦尔德（Francois de Bonnivard）的领导下，想使日内瓦脱离宗教和公爵的羁绊而独立。为了推进这一运动，这些“爱国者”曾与属于天主教的弗里堡及属于新教的伯恩结盟。参加这一结盟的人弗里堡，德文叫作艾德格诺森（Eidgenossen），意即盟友；法文则讹转为胡格诺派，意即法国新教徒。约1520年，日内瓦领袖大半为工商巨子。因为日内瓦不像维滕堡，而是一个商业都市，其商业北达瑞士，南达意大利，西及法国。日内瓦公民于1526年曾组成一个200人的大议会。大议会选出一个25人的小议会，小议会即为日内瓦的真正统治机构。这个机构经常和主教及公爵唱对台戏。一次主教宣称议会叛变，并召公爵部队前来。部队擒获主教，把他囚于奇尔隆。基于同盟关系，伯恩发兵包围日内瓦。公爵部队败绩，主教逃往阿讷西。“拜伦式”的英雄出狱了，大议会取得胜利。大议会因为恨萨伏依支持主教，因此改信新教，并独揽宗教民政大权（1536年）。这场好戏的演出，恰为加尔文抵达日内瓦之前的两个月。
这场革命理论上的英雄是威廉·法雷尔（William Farel）。与路德一样，他从小便是一个热情如火的虔诚青年。在巴黎，他深受雅各·勒菲孚·德埃塔普（Jacgues Lefèvre d’Etaples）的影响。从他翻译的《圣经》和所写的注释里，法雷尔找不到教皇、主教、免罪、炼狱、七圣礼、弥撒、教士独身、玛利亚及圣徒崇拜等存在的理由，于是，他的正教思想动摇了。由于鄙弃圣职授任，他的传教均发自自己的良知。他在法国和瑞士各地，一面云游一面传教。这个身材不高、体力不壮、脸色苍白、胡须火红，但两目炯炯有神、发言具金石声的青年，逢人便说，教皇是基督的叛徒，弥撒亵渎神圣，崇拜教会雕像就是崇拜偶像，而这些都是该打倒的。1532年，他到日内瓦宣扬他的这一套。主教方面的特务人员把他抓起来，并准备将这个“路德狗”投诸罗讷河。幸而民政人员从中作梗，他仅挨了一顿揍。死里逃生后，他去拜访25人小议会。小议会中的每一个人居然都被他说动了，在彼得·维雷（Peter Viret）和安东尼·福门特（Antoine Froment）等人的协助下，竟开始大张旗鼓地宣传。他的宣传精简有力，因此大获一般人、甚至许多天主教教士的支持。1536年5月21日，小议会下令取缔弥撒，并将一切圣像圣物清除出教堂。教会财产一律判属新教，指定充作宗教、慈善的教育基金。教育实行强迫制，但一律不收学费。最厉害的是制定了一种法规：凡属公民均应宣誓信奉《福音书》；凡不参加新教礼拜者，一律应驱逐出境。以上，便是加尔文到日内瓦时的宗教背景。
法雷尔当时47岁。按实际年龄，他比加尔文仅大1岁，但就其性急冲动与能言善辩而言，他似乎比加尔文年轻20岁还不止。像法雷尔这种人，可以说是奠定并推进宗教改革的理想人物。加尔文则不一样，他不好活动，他的理想是一生从事研究和写作。他自己感觉，他适于与神相处而不是人。但是，法雷尔以《圣经》先知惯用的语言和态度影响他。他说，如果加尔文选择研究写作，而不是冒险宣扬神的话语，则他可能遭受天谴。听到这些话，加尔文改变了心意。由议会和地方宗教领袖同意，未经圣职授任，1536年9月5日，加尔文即在圣彼得大教堂开始传道。他讲的是《圣保罗书》的前几章。现在的日内瓦，除少数死硬教派外，处处充满着新教的色彩。在此，保罗的影响大大超过罗马教廷奠基者彼得的影响。
同年10月，加尔文由法雷尔和维雷陪同，前往洛桑解决一项宗教纠纷。在那里，他们说服了这个城市，使之参加新教阵营。他们回到日内瓦，正逢一桩盛事，即圣彼得大教堂的所有传教士重行宣誓献身上帝。所有传教士认为，既然接受《圣经》为“圣道”，他们便有责任实践《圣经》的道德戒律。日内瓦改奉新教之后，大家发现，人们除了耽于唱歌、跳舞及饮酒作乐外，还不断发生赌博、奸淫之事。最令人难以忍受的，是日内瓦市区处处是娼妓。在娼妓中，居然有组织有首领。就法雷尔与加尔文来说，容许这种现象存在，无异于背叛上帝。
为了重整宗教道德，法雷尔发表了一篇《论信仰与秩序》（“Confession of Faith and Discipline”）的文章，加尔文发表了他的另一篇名著《教义问答》（“Catechism”）。这两份文献，于1536年由大议会核准为重整道德的依据。根据这两份文献，市民中如一再违反道德规律而劝阻无效者，于逐出教会后再驱逐出境。1537年7月，大议会规定，所有市民均应赴圣彼得大教堂，宣誓接受法雷尔的理论。任何人，凡有信奉天主教的表现，如持有念珠、保有圣物或于某圣徒纪念日行纪念等，均应议处。妇女乱戴帽子者，应予禁锢。赌博者，应给他戴脚镣。通奸者，流放前应先游街示众。日内瓦革命英雄波尼瓦尔德由于行为放荡，也曾遭受警示。
日内瓦人虽惯于接受宗教统治，但过于严苛的宗教统治，便感到难以接受。过去在天主教的统治下，道德要求很宽，他们尚感不便，现在新教的规定使他们动辄得咎，他们便准备反抗了。日内瓦的爱国志士，过去曾把日内瓦从主教和公爵的统治下解救出来，现在他们发现，日内瓦又不自由了。不自由的桎梏，是由新教狂热的教士加上去的。爱国志士，秘密的天主教徒，加上一个主张宗教信仰自由的团体——这个团体，称为自由党（Libertins） ——于1538年2月3日，在大议会中形成多数，于是他们以新议会的名义，令教士勿过问政治。法雷尔和加尔文一方面宣称议会为非法，同时坚持若议会不收回成命，他们即不举行圣餐晚礼。4月23日，议会决议解除法雷尔和加尔文教士职务，同时命他们3天内离境。市民对议会的措施表示支持，曾公开大举庆祝。法雷尔应纳沙泰尔市之聘，前往布道。在那里，他消磨了自己的余生。他死于1565年，现在那里还留有他的一块纪念碑。
加尔文所去之处为斯特拉斯堡。该城当时是属神圣罗马皇帝统治的自由城市，统治权操于名为“外乡人教会”（L’glise des ?trangers）的新教会众——教徒大半来自法国——之手。在那里，教会每年给他的圣俸是52基尔德。为弥补开销的不足，他卖了他的藏书，同时把房间提供学生寄宿。由于感到单身不便，他请法雷尔和布塞尔为他找对象。他说：“我不是一个登徒子，给女人手指一碰，便迷糊得忘记她一切缺点的人。因此我的理想对象，必须具备下列各点：贞洁、亲切、不啰嗦、节俭、有耐性、关心我的健康。”先介绍的两位不成功，第三位是伊黛乐·戴·毕儿（Idelette de Bure），一位穷寡妇，带着几个孩子，他却中意了。1540年，他和伊黛乐结婚。她为他生了一个孩子，可惜还没有长大便夭折了。1549年加尔文的妻子死了，加尔文每提到她，便感到无限怀念。这和他公开严肃的一面恰成一种鲜明的对比。15年的残余岁月，加尔文在家过的全属孤寂的日子。
加尔文在斯特拉斯堡度日维艰时，日内瓦有许多事情发生。法雷尔和加尔文的被逐，对流亡的日内瓦主教是一大鼓励。他成天在想，如何胜利回到日内瓦，恢复他从前的地位。他的第一着棋，是请亚科波·萨多雷托写一封《给日内瓦的信》，敦促日内瓦恢复天主教信仰（1539年）。萨多雷托是一位道德高尚的人文主义学者和红衣主教，他曾建议教皇以温和手段处理新教争端。其后，被指为异端的韦尔多在卡彭特拉斯即因受到他的庇护，而逃过集体屠杀的厄运（1545年）。萨多雷托以极漂亮的拉丁文，极客气的字眼，向“兄弟般的日内瓦长官、议员及公民”致意。在长达20页的信中，他表达了他的礼貌及其神学观点。他特别指出，新教派系林立与互相倾轧，是领导者追求权力的结果。他要人们以此与几世纪来都保持统一的天主教相比。他要人们细想，真理究竟是在四分五裂的新教一边，还是在累积数世纪经验的天主教的一边。他最后的结论是，让谁替你们服务，聪明的日内瓦人一定有所抉择。
日内瓦议会对他的恭维表示感谢，并答应照他的指示去做。这时，日内瓦没有任何一个人的文章学识足以对这封信提出异议。部分市民准备解除他们对法雷尔的宗教与秩序的誓约时，日内瓦真有恢复信仰天主教的样子。加尔文得知这种情况，殚精竭虑地写了一封《复红衣主教书》，信中提出了他的答辩。以风度对风度，以文章对文章，将新教神学说得头头是道。他指出，他之所以背弃天主教并非基于个人野心，他说，他相信如果他留在天主教，地位一定比目前要好。他说，他不否认天主教的存在基于神意，但他认为，赞成文艺复兴的教皇已把天主教带向反基督的罪恶深渊。他反对萨多雷托只重视教廷会议的智慧，而忽略了《圣经》的智慧。他认为教廷的腐败今天已到不可救药的地步，因此除革命外已无任何其他途径可循。最后他指出，新旧两教如能携手合作，就宗教教义、仪式、人事来一次全面革新，然后来谈宗教统一，天上的基督一定会大加赞赏。这封信强而有力，其中除论述赞成文艺复兴的教皇已把天主教带向反基督的罪恶深渊外，一般措辞均极高雅——这在以谩骂为能事的那个时代是罕见的。路德在维滕堡读到这封信，一面不住地赞美，一面大骂该死的红衣主教。“我十分赞成，”路德说，“上帝会叫人出来……收拾我发动的这场反基督者的战争。”日内瓦议会认为这两封信都很宝贵，决定由公家出钱把它们同时印出供人欣赏（1540年）。读过加尔文的信后，日内瓦人开始后悔：不该将加尔文驱逐出境。他们说，这一来使他们损失了一位对瑞士宗教改革最有力的推动者。
下列因素的出现更使人对加尔文追念不已。接替法雷尔和加尔文的传教士，在布道和维系道德方面，都显得非常无能。人们轻视他们，又回复了改革前的放逸生活。赌博、酗酒、斗殴、奸淫事件常常发生。到处充满靡靡之音，人们赤身露体招摇过市。领导驱逐法雷尔和加尔文的四个官员，一个因谋杀罪判处死刑；一个因伪造文书受罚；一个犯了叛国罪；一个因拒捕被杀。控制议会的工商人士发现议会一团糟。由于领导乏人，秩序混乱；由于秩序混乱，工商业无从发展。让被逐的主教复辟？议员怕被更换，或被逐出教会。怎么办？慢慢大家想到一个办法：请加尔文回来。1541年5月1日，议会取消过去对法雷尔和加尔文的驱逐令，并宣告恢复他们的荣誉地位。议会为劝加尔文回日内瓦主持宗教事务，接连派出两个代表团。法雷尔并不介意议会对他未像对加尔文那般盛情的邀请，议会代表团对劝加尔文回驾感到无能为力时，他却挺身而出，力劝加尔文。当时的加尔文在斯特拉斯堡已经住惯了，那里的人希望他留下，他本人对回日内瓦也无多大兴趣。但盛情难却，最后仅同意到日内瓦做一次礼貌上的拜访。1541年9月13日，加尔文返回日内瓦，日内瓦的盛大欢迎使他深受感动。致敬了又致敬，道歉了又道歉，保证了又保证——保证在加尔文领导下信奉福音建立秩序——这一来加尔文想走也走不成了。9月16日，加尔文写信给法雷尔：“你的盛情我领了。我已决定不离开日内瓦。愿上帝赐福大家。”
