王国的复杂情况使约瑟夫的革新措施倍加困难。他很了解奥地利，纵使经过多次辛勤的旅行，他仍然不能体会匈牙利显贵对其国家经济和政治生活的影响有多深，更不能体会匈牙利群众的爱国主义更重于阶级利益这一事实。他承继大统之时，曾拒绝依照传统前往普雷斯堡加冕为匈牙利皇帝，因为加冕典礼中，必须宣誓遵守匈牙利宪法，而该宪法支持封建形态的社会。他曾下令将匈牙利守护神圣史蒂芬的皇冠自布达移往维也纳（1784年），此举冒犯了匈牙利人。他还以日耳曼语而不以马扎耳语代替拉丁语，作为匈牙利法律用语和训令用语。而令匈牙利商人愤怒的是，他曾利用关税阻止匈牙利产品输入奥地利。他曾干涉传统礼拜仪式，并在一年之内竟准许匈牙利的新教社区由272个增为758个（1783—1784年），使当地天主教会极为震惊。匈牙利终陷于党派、国籍、语言及信仰互相冲突的纷乱状态。
1784年，瓦拉几亚（Wallachia）爆发了反抗封建地主的剧烈的农民暴动，共有182间贵族别墅及60座村庄被付之一炬，并有4000名匈牙利人惨遭杀害，他们宣布是在奥皇的福庇之下才做这种事。约瑟夫很同情他们，认为长久受压迫自会产生此种积怨。但是他希望通过立法，和平地结束封建制度，而不能容许农民以杀人放火的方式来解决问题，遂派军平息暴乱。共有150位暴动的首领被处死，暴乱才告终止。结果，贵族恨他引起暴乱，农民则恨他阻止暴乱。此时已经伏下1787年全国反对奥皇的危机。
1780年11月，约瑟夫亲自研究奥属尼德兰的问题。他曾游遍那慕尔、蒙斯、库特赖、伊普尔、敦刻尔克、奥斯坦德、布鲁日、根特、奥登那德、安特卫普、马林、鲁汶、布鲁塞尔等地。他还附带访问尼德兰联合行省——抵达鹿特丹、海牙、莱顿、哈勒姆、阿姆斯特丹、乌得勒支及斯帕（在该地曾和哲学家雷纳尔共餐）等地。荷兰的欣欣向荣与比利时经济显现的相对呆滞，这种明显的对比令他印象深刻。他将此归因于荷兰商人极为活跃和善于把握良机，及《明斯特条约》（1648年）封闭了斯海尔德河与海洋贸易。回到布鲁塞尔后，他迅速召开会议，企图改革贸易、行政、财政及法律。1781年1月，他指派其妹玛丽亚·克丽斯蒂娜及其夫阿尔伯特公爵为奥属尼德兰的地方首长。
此时，他第一次看到在这个历史悠久的土地上，具有传统特权的上层阶级如何反对改革。其中不拉班特一省早在13世纪即已获得自由宪章，向有“乐都”之称。任何入主布鲁塞尔的君主须向宪章宣誓效忠，其中一条款规定：假如君主违反宪章规定，则佛兰德斯有权拒绝对他服务和服从。另一条款规定：国王应维持天主教会现有的特权、财产及权力，并执行特伦特宗教大会的一切决定。其他各省的贵族和教士也喜爱类似的宪法。约瑟夫却决心不让这类传统阻碍其改革。在短期的访问巴黎后（1781年7月），他又回到维也纳。
11月，他开始在这些省份实施《宽容诏令》。他下令比利时的修道院不受教皇管制，关闭几座修道院，并没收其财产。布鲁塞尔、安特卫普及马林的主教纷纷提出抗议，约瑟夫继在比利时贯彻其关于还愿匾、游行及宗教礼仪的规定。他不准主教控制学校，称“利未的子孙不该再垄断人类的心灵”。他废止鲁汶大学长久以来享有的特权。他在该校建立一所不受主教管辖的神学院，并下诏比利时牧师候选人应在该院做5年的研究才行。急于改革各省的政府，他取消各省阶级会议或省议会及古老的贵族院，改设单一的一般行政委员会，该会设一由奥皇任命的全权委员。他又设置统一的世俗司法机构，取代现存封建的、地方性的、宗教的法庭。全体人民无分阶级，在法律面前一律平等。
贵族和很多中产阶级联合教士，反抗这些措施。约瑟夫重开斯海尔德河出海贸易的徒劳的努力，亦未缓和他们的敌视。而荷兰拒绝重开，法国虽经玛丽·安托瓦内特的恳求，仍然表示拒绝。1787年1月，不拉班特省阶级会议通知约瑟夫，未经该会同意不得改变该省现行的宪法。事实上，他们等于告诉他，他对奥属尼德兰的统治，应是立宪君主政体，而非专制君主政体。但他置该宣言于不顾，断然下令执行其诏令。阶级会议在他们的抗议得到结果之前，拒绝通过征税案。群情激动引起广泛的暴动，玛丽亚·克丽斯蒂娜无奈，只好应允废止那些不受欢迎的改革（1787年5月31日）。
尼德兰动乱不安之际，约瑟夫在哪里呢？他正设法在外交上结好叶卡捷琳娜二世，他相信和俄国达成和解，可以孤立普鲁士，并增强奥地利对付土耳其人的力量。早在其母驾崩以前，约瑟夫即曾至莫吉廖夫（Mogilev）拜访女沙皇（1780年6月7日），并辗转至莫斯科和圣彼得堡盘桓。1781年5月，奥地利和俄国签订了攻守同盟互援协定。
自以为这项协定可使七八十岁的腓特烈陷于瘫痪而不能行动，约瑟夫再次向选帝侯查理·特奥多尔要求以奥属尼德兰交换巴伐利亚（1784年）。选帝侯难以抗拒其诱惑，但腓特烈再鼓余勇，设法阻止这项计划的实现。他鼓动匈牙利和比利时起来反抗奥皇，怂恿瑞布鲁肯公爵——巴伐利亚继承者——反对交换，派使说服日耳曼诸侯，称他们的独立已遭到奥地利向外扩张的威胁，并于1785年7月23日成功地组成普鲁士、萨克森、汉诺威、不伦瑞克、美因茨、赫斯—卡塞尔、巴登、萨克森—魏玛、哥达、梅克伦堡、安斯巴赫、安哈德等地的诸侯联盟，保证共御奥地利牺牲日耳曼国家向外扩张的野心。约瑟夫又一次诉诸凡尔赛宫的妹妹玛丽·安托瓦内特使尽其魅力，要赢得法王路易十六对自己的支持；外交大臣韦尔热纳却警告法王路易切勿同意。约瑟夫不得已，只有承认自己不是腓特烈这个老狐狸的对手。1786年8月，他得悉腓特烈去世的消息时，他说他有双重的悲哀：“以一个军人的身份，我很遗憾，这位对战争艺术有划时代贡献的伟人终于逝世。以一名百姓的身份，我很遗憾他不早死30年。”
现在奥皇扩大其王国领土的唯一希望，就是参加叶卡捷琳娜二世瓜分土耳其在俄奥之间的欧洲属地的战役了。1787年1月，俄皇出巡并想慑服其南方的新征服领土时，曾邀请奥皇在半路上相会，一起到克里米亚去。他如期而至，但没有立刻同意联合出征的计划。他说：“我真想要的是西里西亚，与土耳其战争根本不会达到那个目的。”不过，土耳其对俄宣战时（1787年8月15日），约瑟夫不能不有所行动了，因为他和叶卡捷琳娜二世的同盟协定使他必须助其打“自卫”的战争。而且，现在土耳其的情况岌岌可危，奥地利参战可以乘机再占塞尔维亚和波斯尼亚，甚至可以取得黑海的港口。因此，1788年2月，约瑟夫出兵作战，并训令他们攻取贝尔格莱德一地。
但是，就在此时，瑞典人乘机攻打圣彼得堡。叶卡捷琳娜二世召回在南方的军队以护卫其京城。土耳其人没有了俄人的压力，便能集中火力对付奥地利军队。约瑟夫亲自督军，目睹奥军因漠不关心、逃亡及疾病而日见衰弱。只好下令撤退，绝望而自觉耻辱地返回维也纳。他将统帅权交付“七年战争”的英雄劳顿，老将攻下贝尔格莱德才稍补奥军的损失（1789年）。此时瑞典攻击俄国遭到失败，叶卡捷琳娜二世军队再次大举南进，在与土耳其人交锋的杀戮中，因其兵员稍多而获胜。约瑟夫欢欣地注视长期等待现已在望的军事胜利。不料，普鲁士、英国、瑞典及荷兰因恐俄国日渐壮大，在此时出面干涉，协助土耳其人。骤然之间，约瑟夫发现，几乎所有欧洲新教国家联合起来对付他。他再度求助于法国，但1789年的法国已因革命而自顾不暇。普鲁士在腓特烈·威廉二世的统治下，与土耳其签订了同盟条约（1790年1月），并遣使煽动匈牙利及奥属尼德兰起来反叛奥皇。
匈牙利欢迎这种阴谋，因为它已经公开反抗约瑟夫征兵、征税、改变语言及宗教改革的诏令。1786年，马龙吉吁请匈牙利人自选其皇帝。1788年，佛兰尤计划立腓特烈·威廉为匈牙利国王。埃斯特黑齐和卡罗伊将此消息泄露给奥皇，佛兰尤被判60年的监禁。1789年，匈牙利阶级会议诉请普鲁士从奥人手中解放匈牙利。法国革命的消息传到匈牙利时，该国到处都可以听到独立的呼声。约瑟夫心神沮丧，已觉来日不多，再无精力坚持立场。其弟利奥波德也劝他屈服。1790年1月，他只好宣告：
我们已经决定恢复（匈牙利）王国政府……在1780年时的状况……我们所做的（改革）出于追求共同福祉的热诚，及期望你们受了经验教训之后会喜欢这些改革。现在我们已经确信你们还是较喜欢旧秩序……但是我们希望，我们的《宽容诏书》……
及有关农奴的地位和与领主关系的诏书，均继续有效。
2月，圣史蒂芬皇冠被送回布达，沿途各站受到人们热烈的欢迎。叛变遂告平息。
奥属尼德兰的反叛却是不到产生结果决不中止，因为它能感受邻近的法国革命运动的热力。约瑟夫之妹曾向不拉班特省阶级会议承诺废止他们怨恨的改革，约瑟夫却不肯承认这项承诺的效力。他下令执行这些改革措施，并命其士兵向拒不采行的群众开火。士兵依照命令去做，结果布鲁塞尔有6名暴动者死亡（1788年1月22日），安特卫普和鲁汶两地死亡的数字不详。布鲁塞尔律师亨利呼吁人民武装起来，并加入独立志愿军。教士也热心支持这一呼吁；法国巴士底监狱陷落的消息传来，极大鼓舞了人们，不久就有1万名“爱国者”在强有力的领导下，参加战争。10月24日，《不拉班特省人民政纲》出现，宣告罢黜约瑟夫二世统治者的地位。10月26日，爱国者组成的军队击败奥军。叛军节节胜利，逐渐占领各城镇。1790年1月11日，7省均宣告独立，并成立比利时联合共和国，这一名称来自1800年前曾经困扰恺撒的比利时族。英国、荷兰及普鲁士均乐于承认这个新政府。约瑟夫诉请法国帮助，但法国正忙着罢黜自己的国王，根本无暇他顾。约瑟夫熟悉的旧世界好像已经崩溃了，而死神正在召唤他。
