卢梭在其第五封信中，曾大惑不解：为什么这位日内瓦议员“经常拜访”的“伏尔泰先生”，并未以他的容忍精神来启发他们？这一容忍精神是伏尔泰一直倡导、有时是他迫切需要的。而且，他声称伏尔泰曾说过赞成哲学家言论自由一类幻想的言辞，因为只有少数的人阅读他们的作品。卢梭模仿伏尔泰的灵性与优雅的仪态已臻佳境。这位“费内圣人”被认为是最近出版的《五十人的说教》一书的作者，但伏尔泰再三否认为该书的作者——因为该书充满了异端邪说。我们不知卢梭透露这项秘密是否经过慎重的考虑或是有意中伤，伏尔泰认为他恶意中伤，为此很愤怒，因为这件事有迫使伏尔泰重新遭受法国驱逐的可能性，恰如他搬入费内定居时一般。
他看到暴露内幕的信函时，大叫：“恶棍！这个魔鬼！我必须让他挨打——是的，我必须让他跪在他的山间保姆之前挨打！”
“请您冷静下来，”一位旁观者说，“因为我知道卢梭有意来拜访您，而且不久就要到费内来了。”
“啊，就让他来吧！”伏尔泰叫着，很显然是想报复。
“但是您准备怎么接待他呢？”
“我会给他晚餐，让他睡我的床，并说‘这里有好的晚餐，这是房中最好的床。请您让我以接待他人为乐，并请您以居此为荣’。”
卢梭没有来。不过，伏尔泰于1764年12月31日发表了匿名的小册子《市民的情感》，该书是他留下的最大的污点，我们引述下面几段证明之：
我们同情愚笨的人，但他的疯癫已达到狂怒时，我们就必须把他吊起来。容忍本来是一种美德，却变成了罪恶……我们原谅这个人的罗曼史，在他的罗曼史中假借端庄与朴素之名以博人好感……他将宗教与小说混在一起时，我们的城市官员就负有义务模仿巴黎……及伯尔尼采取的行动……他发表一本新书猛烈、疯狂攻击地基督教，他所谓的改革运动神圣《福音书》所有的牧师及国家所有的机构，那么今天，忍耐不是尽头吗？……他以自己的名义说得很清楚：“我们可逐字而不必放弃好的意思来解释《福音书》时，《福音书》并无神迹可言……”
他是喜欢与学者辩论的一位学者吗？绝不……他是人，一直带着自己放荡的悲剧记号的人……与他从这个城市拖往另一个城市及这一山拖往另一山的不幸的妇女，他使她的母亲亡故，而他把她的孩子们遗弃在医院的门口……发誓断绝自然界的所有情感，正如他放弃了光荣与宗教的事务一般……
他希望以破坏宪法来推翻我们的宪法，正如他希望推翻他主张的基督教文明吗？我们有足够的理由警告他，他骚扰的城市将否认他……假如他认为我们因为谴责《爱弥儿》一书必须拔剑（造成革命），那么他可将这个意念归类于他的荒谬与愚蠢中。但他应被通知：假如我们要轻罚邪恶的罗曼史，我们必须大大处罚一位可恶的背叛者。
这是最丢脸的败笔，即使考虑到伏尔泰的愤怒、烦闷及年龄（他那时是70岁）也无法原谅。毫无疑问，卢梭也从不敢相信（甚至今日我们几乎也不敢相信）这些文字出自伏尔泰的手笔。卢梭认为作者是日内瓦牧师维尼斯，后者抗议说不是，却无效。卢梭在他一生中最得意的时刻（1765年1月），发表了他对《市民的情感》一书的答复：
借着这篇文章我愿忠实地做似乎要求我做的告白，没有任何大的或小的疾病——正如作者提到的——曾污损我的身体。我遭受的疾病与被指出的那种毫无相似之处，它是与生俱来的，正如照顾我童年时代而且目前尚存的那些人所知的。马卢昂（Malouin）、莫拉尔、蒂埃里、达朗贝尔诸先生是知悉的……假如他们发现这种疾病是腐败的最起码的信号，我请求他们来处罚我……在我不幸时照顾我的聪明的、世所敬佩的妇女……是不快乐，仅因她与我共享灾难。她的母亲事实上充满活力，甚为健康，尽管她年纪已老（她将年满93岁了）。我从来——也没有理由——遗弃任何小孩在医院的门口，或者在任何其他的地方……我不愿再多加一词……除非说，在死的时候，我宁可做该文作者指控的一切，而不愿写本文这类的文章。
虽然卢梭将他的小孩们送到育幼院（但并不十分准确地符合他们指控的“遗弃”）是巴黎闲话者知道的（卢梭曾向卢森堡元帅夫人承认此事），然而伏尔泰是第一个揭露此事的人。卢梭怀疑埃皮奈夫人曾于她访问日内瓦时透露此事。现在，卢梭已深信她与格里姆和狄德罗阴谋污辱他的名誉。格里姆这时在《文艺通讯》中一再攻击卢梭，他在1765年1月15日写的信提到《山间信简》，他联合伏尔泰指控卢梭的背叛：“假如在地球上有像高度背叛罪的这种罪，那么我确可在卢梭利用武力攻击一个国家的基本宪法，以推翻他自己国家的宪法一事中发现。”
伏尔泰与卢梭之间长期的争吵是“启蒙运动”前夕最令人遗憾的污点之一。他们各自的出身与地位拉长了他们之间的距离。伏尔泰是有钱人家的儿子，接受过良好的教育，尤其是在古籍方面。卢梭出生于穷人之家，不久连家也破碎了，没有受过正规的教育，也没承继古典的传统。伏尔泰接受了布瓦洛提倡的文学规范：“爱好理性，让你所有的作品从理性方面得到理性应有的光彩与价值。”卢梭则是“感情支配一切”。伏尔泰像卢梭一样敏感与易激动，但通常他认为让情感冲淡他的艺术是笨拙的态度；他认为卢梭诉诸个人无政府主义的、非理性主义的情感与天性，将导致以叛变为始、以宗教为终的后果。他驳斥帕斯卡，卢梭却附和帕斯卡。伏尔泰活得像一个百万富翁，卢梭则以抄写乐谱为生。伏尔泰是社交优雅的典范；卢梭在社交中是不安逸的，而且太缺乏耐性，易发怒以致难以结交朋友。伏尔泰是巴黎之子，富有巴黎愉快与奢侈的气质；卢梭是日内瓦之子，一位忧郁与清教徒的中产阶级，不满于隔绝他的阶级歧视，及他享受不到的奢侈。伏尔泰为奢侈辩护说，奢侈是把富人的钱流通起来以给穷人工作机会。卢梭谴责它，“在我们城市中供养了100个穷人，而导致上万人死于乡村”。伏尔泰认为文明的舒适与艺术胜过文明的罪恶。卢梭处处不舒适，几乎斥责每件事情。改革者倾听伏尔泰，革命分子则听到卢梭的呼声。
沃波尔提到“这个世界对能思想的人是一个喜剧，对富有感情的人是一个悲剧”时，他很不高明地把18世纪最具影响力的两个人物摆在了一起。
