强烈反对格里高利改革措施的正是德意志。候任皇帝亨利四世（1056—1106），被教皇威胁开除教籍并废黜帝位，却于1076年在帝国召开宗教会议予以应对，甚至要求教皇退位。格里高利反过来在罗马召开宗教会议废黜皇帝并开除其教籍。
亨利被罢黜鼓舞了其统治区域内不满臣民的反抗。他成了被天国诅咒的人，人们唯恐避之不及。他的权力几乎完全不在掌控之中，王国也即将土崩瓦解。在如此恶劣的条件下，等他去做的只有一件事情：去拜见格里高利，谦恭地请求原谅，并恢复对教会的支持。
1077年，亨利前往位于亚平宁山脉（Apennines）的卡诺萨（Canossa），这是著名的托斯卡纳的玛蒂尔达女伯爵的城堡，格里高利当时正在那里，但拒绝见他。时值隆冬，国王身穿麻衣，赤足立于满是积雪的城堡院落里，连续三天等在那里请求教皇接见，并准备跪于其足前接受宽恕。第四天，格里高利同意接见国王，免除了开除其教籍的处罚。
后来，亨利对此次的屈辱进行了报复。他召集了一支军队突袭罗马。格里高利被迫到萨莱诺（Salerno）寻求避难，并于1085年客死他乡。他的遗言是：“我喜爱公义，恨恶罪恶，所以我客死他乡。”
但争端并未就此停息。格里高利的继任者继承了他的遗志，亨利再次被开除教籍。在与教会势力作了长期斗争并遭到被煽动的儿子起兵反叛之后，他最终于1106年心力交瘁而死。
