接下来的4年是卢梭夫妇生活得最不愉快的时期。纳沙泰尔的加尔文教派的牧师公开指责卢梭是一个异教徒，地方当局又严禁《爱弥儿》一书销售。可能为安抚这些人，或出自遵循他所著《萨伏依教区的副牧师》一文中观念的真诚愿望，卢梭曾向莫捷的牧师请求参加教堂礼拜（泰蕾兹一直是天主教徒）。卢梭的请求被接纳了，他参加宗教生活，“以内心真正的感动，而眼睛充满了怜悯的眼泪”来接受教会。他穿着亚美尼亚款式的服装——皮帽、长袍与腰带，长袍可以掩饰他尿道障碍的痛苦，此举成为大家的笑柄。他以这种打扮赴教堂，而且以这种打扮拜访基思爵士，基思并未批评他的服饰，只是祝福他。他继续以抄写乐谱来增加收入，现在他又加上了缝纫，及学做花边：“像妇女一般，我拜访人家时，我随身带着坐垫，或者在我家门口坐下来工作……这种方式已使我与我的女邻居消磨时间，而不感到厌倦。”
可能就在这段时间（1762年底），出版商说服他开始撰写《忏悔录》。他已断然放弃写作，但这个著作只不过是为了保护个人性格与行为来反抗敌对者，尤其是反击哲学家的指控与沙龙内的言论。尤有甚者，他必须答复一大堆各方面的来信。妇女们特别给予他倾慕的安慰的温馨，不仅因为她们对遭受驱逐的著名小说作者表示同情，而且因为她们渴望恢复宗教，及看到了《萨伏依教区的副牧师》及其作者在信仰中并无真正的敌人，而是打击悲惨的无神论者的斗士。对这类的妇女及一些男人，卢梭成了他们的教父忏悔者、灵魂与良心的指导者。卢梭忠告他们保持或者回到他们年轻时代的宗教信仰，而不必考虑科学与哲学提到的难题。那些不能相信的难题并非问题的重心，我们可以不声不响地把它们搁置一边。最主要的是信仰上帝与不朽，以那种信心与盼望，任何人皆可超越自然界难理解的困扰及生命的所有痛苦与悲哀。一位背叛自己宗教的年轻天主教徒请求怜悯；忘记了自己也曾背叛过的卢梭，告诉他不要被意外事件困扰。“假如我生下来就是天主教徒，我愿一直保持着天主教徒，你要弄清楚你的教会在人类理性的徘徊中，曾做了有益的限制。它必须探测事理奥妙之处时，这种限制也无法寻求出其底与边。”对几乎所有这些追求智慧的人，卢梭劝告他们从城市迁到乡村，从诡计与复杂恢复到自然朴素的生活，及对婚姻与为人父母的生活要感到相当的满足。
那些遭受世俗牧师与不可知论者的神父惊动的妇女，仅由通信即已坠入了这位不受世俗欢迎而且遭所有教会排斥为异教徒的卢梭的情网。布洛夫人，这位拥有头衔而且受人尊敬的女性，曾对一群贵族与淑女大声疾呼说：“只有高尚的品德能使具有情感的妇女避免把她的生命献给卢梭，假如她确知卢梭会热情地爱着她。”拉杜尔夫人在卢梭给她的信中误解了某些恭维话而把它当成爱情，她温柔、亲切、情感流露地给卢梭回信，她将自己的画像寄给他，向他抱怨他待她甚薄；他以从来未与之谋面的男人的冷静给她回信，她愈感到沮丧。但仍然有许多信徒愿吻他走过的地面，某些人在他们自己心中给他竖起了祭坛，某些人称他为再世的基督。有时他对待他们很正经，并自认为他本人就是被钉上十字架的新信仰的创造者。
在这些颂扬中，反对声也加强了。与此对应的，一位犹太教的高级牧师煽动人民谴责卢梭为危险的革命者。1762年8月20日，巴黎大主教克里斯多夫·德博蒙对他教区所有的牧师发布教令，要他们在教堂聚会中宣读他公开指责《爱弥儿》一书的29页文告。德博蒙主教是严正的正教人士而且享誉一时，他曾大力攻击詹森教派、百科全书派及哲学家。现在他似为卢梭明显脱离无信仰的阵容后，已联合上述各派人士攻击主教心中认为的整个法国社会秩序与道德生活赖以维系的宗教信仰。他的文告便以引用圣保罗写给提摩太教会的第二封信原文为始：“被自己利益所昏迷者、狂妄与高傲的渎神者、内心吞噬傲慢的邪恶毁谤者、爱好享乐更甚于爱上帝者、精神腐化及信仰固执者，他们的毁灭日子来到了。”的确，那个时刻来临了！
无信仰、因热情而大胆将自己置于任何形式以使自己于某些途径中，适应所有的时代、性格与阶级。有时……它采取了平淡、愉快与轻浮的风格。因此有许多神话，正如它们本身具有的邪恶般的猥亵（伏尔泰的小说），以玩弄幻想作为诱惑与腐蚀心身的法宝。有时影响了其本身观点的深奥与崇高，自命要回到知识的第一个原则，与担负起神圣的权威，以使抛脱它们认为不诚实的人类枷锁。有时它像狂怒的妇人叱责宗教的热忱，然而热忱传播普遍的容忍。而且，有时结合了言辞上所有这些不同的形式，它将严肃混杂了嬉戏、纯洁的名言混杂了猥亵、伟大的真理混杂了莫大的恐怖、信仰混杂了渎神。一言以蔽之，它企图在光明与黑暗之间、耶稣基督与恶魔之间从事调解。
这些——巴黎大主教说——尤其是《爱弥儿》一书的写作技巧让它成为充满哲学词汇却无哲学真髓的一，充满了尚未启发作者的片断的知识，而仅能混乱读者的思维，作者是将言行弄成前后矛盾，将态度的朴素与思想的虚华、将古代名句与革新的狂热、将其本人退缩的暧昧与想出风头以博名闻全世界等相混的这么一个人。他排斥科学却培植科学，他赞扬《福音书》的优点却排斥《福音书》的教训。他已使自己成为人类的教师以欺骗人类，成为群众的导师以误导世界，用世纪的神谕以毁灭世纪。
巴黎大主教对卢梭建议爱弥儿在12岁或甚至18岁以前不要向他提及神一事感到震惊。那么“一切自然界将宣布他们创造主的荣耀归于无效”，而所有道德的教训将失去对宗教信仰的支持。正如作者假定的，人非生而性善，他是生来就有原罪的。他共享了人性共同的腐化。最聪明的教育者——所有当中最好的一位，应由神恩引导的牧师，将使用每一正当的方式培育人性中好的冲劲，并铲除其劣根性。因此，他将以“有助于朝向拯救之路的宗教精神的牛乳”来喂养儿童。只有以这种方式的教育，儿童才能发展成为一位“对真正上帝的真诚信徒，统治者忠贞的臣民”。如此多的罪与恶甚至超过这种勤勉的教训，想想看假如缺乏它时他们将变成什么。邪恶的洪流将吞噬我们。
为了这些理由，巴黎大主教估计：
经与数位具有贞德与智慧的名人磋商与祈求上帝的圣名之后，我们谴责上述该书含有败坏自然法与基督教基础的恶劣的教条，建立与《福音书》道德教育相反的原则，有意扰乱国家和平而领导反抗主权权威的叛变，包含了错误、诽谤的建议，充满了反抗教会与圣职人员的仇恨……因此我们明确依刑法严禁本教区任何人阅读或保存上述该书。
这道教令是以“国王特权”的名义颁布的，很快到达了莫捷特拉弗斯。已决心永远不再写作的卢梭，决定答复。在他搁笔之前（1762年11月18日），他的答辩竟达128页。该答辩于1763年3月在阿姆斯特丹发表，标题是《让—雅克·卢梭，日内瓦公民，写给克里斯多夫·德博蒙，巴黎大主教》。巴黎议院及日内瓦议会很快加以谴责。遭受欧洲两种主要宗教的攻击，卢梭也以攻击它们为报复。现在，曾否认哲学的这位审慎的浪漫派作家鲁莽大胆地一再重复他的论据。
他以对手们在无休止辩论中互相提到的一个问题为开端：“为什么我必须向您提及任何事情，我的主教？我们能说哪种共同的语言，我们如何彼此了解？”他以曾写过书为遗憾，一直到38岁时他才开始写书，而他陷入这种错误是由注意到第戎学院那“可怜问题”的意外事故引起的。对他的论文的批评使他做了答复。“辩论又引至辩论……而我发现我自己，可以说，变成了一位已达退休年龄而尚未退休的作者。”从那时到现在，“安静与朋友均已消逝”。在他一生中，他强调自己曾经：
比启发更具热情……但忠心于每件事……朴素与善良，但敏感与衰弱，常做坏事却永远爱好善良。宁愿固守着自己的情感而不喜好自己的利益……敬畏上帝而不怕地狱，推理分析宗教而缺乏自由思想。既不爱不信上帝也不爱宗教狂热，但痛恨不容忍甚于自由思想者……对我的朋友承认我的错误及对全世界的人承认我的意见。
对《爱弥儿》一书所受的谴责，他为加尔文教感到悲哀甚于天主教。他曾骄傲地自命为日内瓦公民而离开法国，盼望在其故乡呼吸到自由的空气，及在故乡得到慰藉。他受尽屈辱。但“我应该说些什么呢？我的心扉已关闭，我的手在发抖，我的笔从我手中掉下。我必须默不作声……我必须暗自饮啜悲哀中最辛酸的苦汁”。看那个在“这个世纪中因哲学、理性和文学而如此成名”的人，胆敢“维护上帝的主义”——看他“受辱、放逐，从一乡到另一乡被追逐，一处庇护所到另一处庇护所，从不以他的贫穷为意，从不以他的虚弱为同情”。最后在一位“杰出与开明的君主”之下，找到了庇护所，而在四周环山的瑞士小村庄中过着与世隔绝的隐居生活，最后为寻求隐姓埋名与和平宁静而思考，但甚至在那里也被牧师们的咒诅追逐。这位大主教，“是一位有品德的人，灵魂的高贵正如他的出生一般”。他本来应该谴责迫害者，相反他无耻地授权他们，“他本应为受压迫者的主义而辩护”。
卢梭看出德博蒙大主教特别被人性本善或者至少并非属恶的论点激怒。德博蒙了解：假如这个论点是真的，假如人不是生时就带来亚当与夏娃所犯的原罪，那么基督的赎罪教条就要崩溃了，而这一教条就是基督教教义的核心。卢梭回答说，原罪的教条在《圣经》中并没有清楚的规定。他认为德博蒙大主教对迟延接受宗教教规的建议一定感到震惊，卢梭回答说由牧师或修女来教育儿童并不能减轻原罪或犯罪。那些学生长大后，已失去对地狱的恐惧，而宁愿喜欢目前的快乐而寄望于未来天堂的乐园；而那些牧师——他们是现代法国品德的模范吗？但是，“我是一位基督徒，真诚的基督徒，并遵循《福音书》的教训；我是作为耶稣基督门徒的一位基督徒，而并非牧师门徒的基督徒”。然后，朝日内瓦望了一眼，卢梭接着说：“很高兴出生在地球上最圣洁、最富理性的宗教中，我一直战战兢兢承续着祖先的信仰。与他们一样，我以《圣经》与理性作为我信仰生活的唯一准则。”他已感受到那些谴责，他说：“虽然聪明人会像你那样思考，但如整个教区也必须认为如此是不好的。”——
这就是他们从四面八方对我的呐喊。这可能是我们两人单独在你的书房时，你本人要告诉的一切。人们就是这样的，他们的言语随着衣着而改变，他们仅在穿上道袍时才说实话，穿着一般世俗服装时，他们仅知道如何说谎话。不仅在人类面前他们是欺诈者、骗子，而且他们厚颜无耻地处罚那些不愿违背自己的良心而成为他们同伙的人。
我们的大众信仰与我们的传道之间的差异是当今文明腐化的本质。我们必须尊重某些偏见，但假如那偏见使教育变为对大众的诈欺而腐蚀了社会的道德基础则否。假如那些偏见成为我们的致命伤时，难道我还要对其罪行保持缄默吗？——
我并没有说，我也不认为，没有好的宗教……但我说过……在那些居领导地位的宗教中未曾残酷伤及人性的则没有一个。所有的教派蹂躏其他教派，所有教派对上帝的奉献仅是人血的牺牲，只要属于这些矛盾的来源，他们就能够存在。想把他们铲除掉就是罪恶吗？
接近他的答复的末端，卢梭很有情感地为他的《爱弥儿》辩护，并怀疑为什么没为《爱弥儿》的作者树立雕像：
……这不是仅以和平、仁慈、忍耐、爱好秩序，及任何事情都服从法律，甚至在宗教方面亦然的一吗？这不是宗教的宗旨如此美好地被建立，道德如此地被尊重……邪恶被视为愚蠢，而品德被视为可爱的一吗？……是的，我敢说：假如欧洲有一个真正开明的政府存在的话……他会将公共的光荣送给《爱弥儿》的作者，会为作者树起雕像。我太了解人们，以至于不敢期待这种承认，我对他们没有足够的认识以致不期待他们做过的事。
他们已为他树立了雕像。
