奥格斯堡会议取得了宗教上的和平，而查理五世扮演着第二个戴克里先（Diocletian）的角色。他长期以来都想着要在人生最后的日子去修道院过着归隐的生活。与德意志新教王公们的较量所带来的失望，随着年岁的增长，以及统治晚期如阴云般缠绕的麻烦促使查理采取行动。随后，他把自己最喜爱的儿子腓力扶到尼德兰（1555）和西班牙及其殖民地（1556）统治者的位置上，最后，他隐退到西班牙西部的尤斯特修道院（Monastery of Yuste），在那里度过人生最后的短暂时光。
曾经有一个传说：查理五世在尤斯特修道院摆放了几座钟表，想让它们同步调运转，结果徒劳无功。为此，他反思道：“我曾经愚蠢地认为能够让所有人拥有共同的宗教信仰，现在我甚至无法让两座钟表保持相同的时间。”
这个故事可能是虚构的，因为查理似乎从来没有怀疑过只有武力才能保证信仰的统一。在尤斯特修道院归隐期间，他对当初自己没有在沃木斯烧死路德表达了深深的遗憾。他还不断地敦促腓力采取更为严厉的手段对付异教的臣民。
