玛丽亚·特蕾莎曾把其子的教育交给耶稣会教士，但她比卢梭更早主张让他读书犹如自娱。约瑟夫4岁时，她曾抱怨“我的约瑟夫不听话”，然而听话就不是一桩娱乐了。约瑟夫6岁时，普鲁士大使在报告中说：“他已经高度了解他的地位。”玛丽亚·特蕾莎训以纪律生活，并强其敬神，但孩子发现宗教礼拜很是烦人，他厌恶过分重视超自然的世界。不久，他不喜正统论，转而为伏尔泰的学说所迷。此外，他虽不关心文学，却极热心研讨科学、经济学、历史和国际法。他永远不会因为年长就变得更傲慢，他终于成为英俊机警的青年，此时他的缺点尚不至使他与母亲疏远。在多次旅行途中，他写给母亲的信充满着孺慕之情。
到了20岁，他受任为枢密院的一员。不久（1761年），他顺应母亲的要求，屡述其政治和宗教改革思想的要旨，终其一生，这一直是其政策的本质。他劝请女皇扩大宗教宽容，减低教权，免除农民的封建负担，并允许物品流通和思想交流享有更大自由。他请求女皇减少宫中和典礼的支出，尤其应减少军队的开支。每位政府成员既然领薪水就应该工作，而贵族应与一般人一样纳税。
同时，他知道了生活的另一面。路易十五为了使敌人的盟友倒戈，曾提议以其孙女伊莎贝拉许配约瑟夫大公为妻。约瑟夫看似很幸运：伊莎贝拉只有18岁，不但美丽，性情也很温柔，只是多愁善感。1760年6月，她随300匹马组成的车队，越过阿尔卑斯山抵达奥地利。为庆祝大婚曾举行奢华的盛宴，约瑟夫非常高兴有这样的美人在怀。但是，伊莎贝拉念念不忘所习的神学理论，她完全可以安享生命的一切，但是她不觉得这样有何快乐可言，反而希望早日死亡。1763年，她致书其姐妹说：“死亡是一种恩泽，我从未像现在这样希望死去。我心中的每个念头都是希望早死。只有上帝知道我热切希望舍弃这种每天都在玷辱它的生活……假如容许自杀的话，我早已那么做了。”1763年11月，她遭受天花的折磨，她根本就不鼓励设法救她的医生，5天中她终告不治而死。约瑟夫爱她至深，永远无法从这次打击中复原。
几个月后，其父带他到法兰克福加冕为罗马皇帝——传统登上帝国帝位的步骤。1764年3月26日（年轻的歌德也在人群中）他在此地被选任为皇帝，4月3日即接受加冕。他不喜欢冗长的仪式、宗教礼仪和演讲。在致其母亲的一封信里，他抱怨：“我们每天都要聆听无聊而愚蠢的演说……那要令我费很大气力，才忍住没有当面告诉这些绅士，他们的言谈举止是何其愚蠢。”在典礼中，他一直想着他逝去的妻子。“由于心中充满了痛苦，我看来宛如着迷似的……我爱寂寞……可是必须活在人群里……还要天天喋喋不休，而说的都是无聊的话。”他一定很善于隐藏自己的感情，因为其弟利奥波德报告说：“我们的罗马皇帝永远显得英俊可爱，总是富于幽默、欢欣、亲切和彬彬有礼，他已赢得人们的拥戴。”
回到维也纳后，他受劝再次结婚，因为奥地利政府要有次序地持续下去，以利于哈布斯堡家族的繁衍不绝。考尼茨替他找到巴伐利亚的约瑟法为妻，因为考尼茨希望巴伐利亚可以并入奥地利王国。约瑟夫签署考尼茨为他安排的婚契，将之送出后，致书帕尔马公爵（伊莎贝拉之父），将约瑟法描写为“矮矮胖胖的小女人，毫无年轻人的魅力；脸上有粉刺红斑……讨厌的牙齿……你该了解这项决定使我蒙受多大的损失……怜悯我吧，别放弃对这个女婿的爱，虽然他再娶，却永远把那个爱人的影像深深地记在心里”。1765年初，约瑟夫与约瑟法结婚。她试着做一位好妻子，但他在公开和私人场合都回避她。她默默地忍受痛苦，1767年死于天花。约瑟夫拒绝再娶。现在，约瑟夫带着冷漠与忠诚、理想主义和傲慢糅合而成的悲惨际遇，将他的余生奉献给政府。
