最后这几个月是最不好过的。匈牙利和比利时发生叛乱，土耳其人节节进逼，军队群起叛离。而自己的子民，那些奥地利人本来很敬爱他，现在也反对他，视他为他们神圣传统和信仰的破坏者。教士谴责他是不信教的人，贵族因他解放农奴而对他怀恨在心，农民则向他要求更多的土地。都市的市民接近饥饿边缘，各个阶层的人士诅咒战争带来的重税和高昂的物价。1790年1月30日，约瑟夫已完全屈服，除了废止农奴制度的措施外，他宣告取消自玛丽亚·特蕾莎亡故以来发布的一切改革措施。
为什么他会失败？他诚恳接受并充分信任哲学家的主张，是一位受过良好教育、怀有善意的君主，最适合推展启蒙运动与实行改革。他受过良好的教养，可是他的善意不时为他的热爱权力玷污，而最后他的热忱变为征服者的野心，并已远超乎实现哲学思想的热诚之上。他缺少哲学家具有的怀疑能力。他认为其目的和手段充满了智慧。他要立即改革太多的毛病，而且做得太仓促，人民无法尽行消化颁布的法令。在使人信服之前他就发号施令，他想在10年内，完成需经百年的教育和经济改变才可进行的改革。根本上是人民使他遭受失败。他们已深深植根于特权与傲慢、习惯和教条中，未能给他谅解和支持，而如此富有挑战性的改革，若无人民的谅解和支持，其专制权力势必陷于软弱。他们宁要教会、教士及什一税，而不要赋税、密探及战争。他们无法信任嘲笑他们喜爱的传奇故事、困扰他们的主教和羞辱他们教皇的人。
自1765年以来，经过这么多艰辛的日子，他的健康一直不能与他的意志配合。他的胃因为紧张的生活变得消化困难、不断作怪，身边的人警告他需要休息，但是无效。利涅亲王警告他，说他这样等于慢性自杀。他也知道，但他说：“不然我能怎样呢？”“只因我不能促使他人去工作，所以我才只好慢慢地杀害自己。”他的肺不好，声音又衰弱又低沉，他的静脉曲张，眼睛发炎，中了丹毒，并患痔疮……在与土耳其作战中，因受风霜打击，他和成千的士兵一样，患上了四日热。有时，他几乎不能呼吸，“我的心脏只有轻微的跳动”。1789年春，他开始吐血——他致书利奥波德说：“一次约吐三盎司。”6月，其肾脏发生剧痛。“我严行节食，不吃肉类或蔬菜，也不吃乳酪产品，肉汤和米饭是我的主食。”他终于患上肛门脓疮，脓疮和痔疮均须切割。他又染上水肿的毛病，只好召回利奥波德来接掌政府大权。他说：“我不会为了去位而感到遗憾……令我悲伤的是，只有少数人过着幸福的生活。”他致书利涅亲王说：“你的国家已将我杀害。根特之失令我痛心，布鲁塞尔之失已置我于死地……到北海沿岸即低地国家去吧！任其返回他们的君王的怀抱。假如你办不到，就留在那里。不要为我牺牲你的利益。你还有子女。”他开始立遗嘱，慷慨地把许多礼品赠给其仆从，并赠给“耐心与我交往的5位妇人”。他自撰墓志铭：“躺在这里的是约瑟夫，他毕生一事无成。”他顺从地接受天主教会给他的最后圣礼。他祈求早日结束生命，终于1790年2月20日去世。他享年只有48岁。他去世时维也纳欢欣，匈牙利感谢上帝。
他真的失败了吗？诚然在战争方面他是失败了。纵使劳顿连获胜利，利奥波德二世仍认为最好依据恢复战前现状原则，与土耳其谈和（1891年8月4日）。利奥波德因无法缓和匈牙利贵族的不满，只好撤销给予农奴的自由。在波希米亚和奥地利两地，多数改革仍然保留下来。宽容诏书并未废止，已封闭的修道院也不再恢复，教会仍然受国家法律的拘束。奥地利避免了暴力革命，而终由一个中古国家步入一个近代国家，分享了19世纪形形色色、多彩多姿的文化精神与活力。
在他最后的日子，约瑟夫曾致书考尼茨说：“本人深信我的意愿绝对是完美无瑕，所以我希望在我死后，后世之人——对此会更赞成，会更公平，因而会比时人的评价更为公正——在评论我本人之前，先估量我的行动及其目标。”需要经过一段漫长的时光，后世的人才会如此。不过后人终有一天会有所了解，在对其专制与急躁感到遗憾之余，也承认他是“开明专制君主”中最勇敢、最彻底及缺乏深思熟虑者。在梅特涅的反动过去以后，约瑟夫二世的改革措施终于一件又一件地恢复，而1848年的革命者曾在他的墓上献花，表达了他们的敬意。
