所有被放逐者的大敌是时间，其次是时间之子——无聊。这些人都惯于行动，熟悉死亡。现在，他们局限于照顾一位风云人物的身体和情绪。这个风云人物已从皇帝的宝座跌落，无奈地穿上囚衣，所有病情恶化，人性缺点显露。他说：“我的情况可怕。我像一个死人，但充满生命力和求生欲。”这位英雄以往渴望有较多的时间来应付所选择的工作，或实行他的计划。现在他觉得时间沉重地压在他身上，欢迎黑夜为一种时间的止痛药。由于缺少活动，他发现难以入眠，由床至沙发或椅子，再到床上，设法摆脱知觉。
他几乎天天下棋，不过由于没有对手敢击败他，他对胜利感到厌烦。在放逐的头一年，他每天骑马走几英里路，但他注意到某位英国军官总注意他时，他不久就放弃这种运动。他每天看几个小时书。以前，他一直喜欢书，甚至在繁忙时，也要看些书。哈德逊爵士由自己的图书馆中挑选一些书送他。他成为研究亚历山大、汉尼拔和恺撒战役的专家。他反复阅读高乃依和拉辛的戏剧，有时和伙伴分担角色，高声朗诵。他喜欢英国文学，并要求拉斯·卡斯教他足够的英语，以便阅读这些作品，甚至讲英语。古尔戈报道：“陛下往往用英语和我说话。”
他较其他囚犯有一点长处，他可以将现在淹没在过去中。他叙述法国和欧洲一半国家1796年至1815年的历史，由于他是一个主要参与者，几乎可以完全由记忆中回想出来。他对写作缺乏耐心，但他可以讲述。拉斯·卡斯显然曾建议：他向一两个随员口述记忆，每个日子都会有趣味和价值。现在，他也许在但丁的诗句中发现唯一的真理：“在失意中回忆美好的时光是最大的痛苦。”对美好时光的回忆，可能会减轻目前的痛苦——即使目前的痛苦正在加深。拿破仑大叫：“这是一个美好的帝国！在我的政府里，我曾统治8300万人——这是欧洲人口的一半。”
因此，他在诺森伯兰开始一种新独裁统治，以后沿用至圣赫勒拿岛，前后间歇维持4年。他首先对拉斯·卡斯叙述1796年在意大利的战役，他的迅速决定震惊了全欧，使他成为法国不可缺少的人物。拉斯·卡斯在哈德逊爵士动怒前逃亡后，拿破仑向古尔戈口述，而后向蒙托隆，对贝特朗口述较少。有时，一天内对其中两个人口述。现在，这些战士易剑为笔，墨水涌现纸上，为在再度波旁王朝化的法国及历史法庭中保全皇帝的记录和良好的名声。他们较他更早疲惫。他觉得，这是他保护自己，对抗演说者、新闻记者和漫画家的最后机会。这些人曾使他的敌人想象他为无情、残酷的食人魔。拿破仑知道笔录者对他们的工作缺乏动力，将原稿及其出版所得等权利，完全交付给他们。事实上，每份原稿出版后都为执笔者及其后裔带来了财富。
自然，作者竭力为这些辩护。不过，一般来说，个人在保护自己的生命时，这些著作的立场在期望中是公正的。拿破仑至此时已承认他在政策和指挥方面，曾犯严重的错误。“我和塔列朗争论是错误的，他拥有我缺乏的每样东西。如果我坦诚地允许他分享我的伟大，他会好好地为我服务，而且我会寿终于国王座上。”他承认，他过分低估征服西班牙和俄国的困难。“我由厄尔巴开始得太早，我应等待至会议散会、王侯们回家之时。”“我还不清楚滑铁卢之役的损失。”“我应死在滑铁卢。”
然而，这些因为他的回忆录几乎筋疲力尽的人，发现仍有精力记录他的谈话。当然，这是有趣的，因为在他这个时代，谁可与他在影响力和刺激方面相比呢？他非常健谈，对于任何话题皆有生动的逸闻趣事。就其坦率方面他是位哲学家，可以谈论由农业至宙斯的任何问题。他阅读历史非常广泛，使他以某种难以置信的能力成功预测将来：“殖民地制度……是结束了。对每个国家——对拥有所有殖民地的英国和其他列强都是如此，它们什么也没留下。”波旁王族的权力不久将被法国人民推翻，日耳曼不久将继续它曾开始的统一。19世纪将是一个革命的世纪，法国革命的原则除了某些部分外，将会在美国、法国和英国胜利。同时，“它的光辉将由这三个国家照耀全世界”。“古老的制度结束了，新的制度不经过长久激烈的动乱不会巩固。”“俄罗斯的确是一个突起的强权，并以最大的步伐迈向统治世界。”他推测错误之一是：“英国日益增长的王室权威……正迈向毫无阻碍地独断而绝对权力的道路上。”
最后，他检讨个人的政治生涯，十分恰当地概述如下：
我结束了无政府状态，清除了混乱。我扫除了革命，提高了某些国家威严，并安顿一些国王。我鼓舞各种竞争，奖赏各种功劳，而且扩大光荣的限度……独裁政府是绝对需要的。人们将说我剥夺自由？我可以证明放荡、无政府状态和最不合法行为仍旧侵害自由。人们将谴责我酷爱战争？我可以说是首先受到攻击。人们将说我朝向世界君主政体……我们的敌人们引导我逐步走向这种决心。最后，我将因我的野心受到责备吗？无疑，我必须承认我有这种热情，而且程度不小。不过，我的野心是自古以来最高贵的一种，为建立、奉献帝国的理念，为人类的全部才能充分运用及完全发挥。历史学者在这也许会不由自主地感觉遗憾，这种野心不曾获得实现和赏识。这是用几句简短的话说明我全部的历史。
1821年3月9日，他怀着对身后声望的幻想，缓和了失败的心情：“在500年内，法国人幻想的都是我。他们将只谈论我们胜利战役的光荣。天主帮助任何敢谈说我缺点的人！”这是一种面对死亡的好方式。
