奥古斯都的失败和悲剧几乎都发生在家庭之内。他的三个太太——克劳狄乌斯娅、斯克里波尼娅、利维娅——只替他生了一个孩子：斯克里波尼娅为了报复她的离婚为他生了一女尤莉娅，他原希望利维娅能够替他生一个儿子，教育他使他承继国政（她为前夫生了两个优秀的儿子——提比略和德鲁苏斯，不幸与奥古斯都竟未生育，否则，他们的婚姻会很快乐）。利维娅是一个有庄重之美的女人，个性坚强，但特别体贴；奥古斯都的重要措施都预先跟她研究，他尊重她的意见如同尊重贤明的友人的意见一样。当有人问她对奥古斯都何以能有如此的影响力时，她说：“保持绝对的贞洁……决不干涉他的事务，对他所钟爱的情人装作不闻不问。”她是古典美德的代表，对宣扬道德不遗余力。有空时，她从事慈善活动，以私房钱帮助孩子众多的父母，给贫困的新娘购置嫁妆，并收养许多孤儿，她的王宫几乎成了孤儿院，因为奥古斯都在宫里和他妹妹奥克塔维娅的家中监管他孙子、侄儿侄女，甚至安东尼的六个遗孤的教育。他把男孩子们派到前线，监督女孩子们纺织，他“不许她们轻言妄动——除非光明正大，能够载于家庭日志之事”。
奥古斯都想尽量去爱利维娅的儿子德鲁苏斯，把他领过来抚养，并愿将财产和政权传给他，但他不幸夭折。奥古斯都初尝丧子之痛，他重视提比略而不爱，因为他的继承人必须是积极、专断、趋向于阴沉守密的人。他活泼俊秀的女儿尤莉娅在童年时一定曾给他很多快乐，在尤莉娅14岁时，奥古斯都就设法让他外甥（妹妹奥克塔维娅的儿子）离婚，而希望他和尤莉娅结婚。两年之后，他的外甥马赛勒斯死了，尤莉娅难过一段时间之后就开始享受一种久所渴望的自由。不久，这位媒人皇帝又想有个外孙来继承他，于是又诱骗阿格里帕离婚，来娶风流寡妇尤莉娅（公元前21年）。当时尤莉娅18岁，阿格里帕42岁，他是个善良而又伟大的人，并且很有钱。她把阿格里帕乡下的房子当作享乐和才智之士的沙龙，成为年青放逸者的领导中心，谣言指控尤莉娅对新丈夫不忠，并且拿一个不可信的问题想得一个不可信的答案，问题是尤莉娅既与人通奸，怎么她的五个孩子又都像阿格里帕呢？阿格里帕死后（公元前12年），奥古斯都就寄望于尤莉娅的长子盖乌斯和卢西乌斯。奥古斯都对他们特别钟爱，特别教育，还不到法定年龄时就让他们担任官职。
尤莉娅又成了寡妇，比从前更有钱，更漂亮；她行为放荡，情人成群，立刻引起罗马的非议。为了缓和争论，也许为了调解女儿与太太的摩擦，奥古斯都第三次给女儿做媒。利维娅的儿子提比略又被迫和他怀孕的太太（阿格里帕的女儿维帕萨尼娅·阿格丽品娜）离婚，来娶同样不愿再嫁的尤莉娅（公元前9年）。这位年轻的旧派罗马人尽量做个好丈夫，不过尤莉娅不肯放弃她的享乐主义来迁就他的苦行生活，又开始她的非法恋爱。提比略忍无可忍地背负这项耻辱。《通奸法》（The lex lulia de adulteriis）规定要奸妇之夫上诉方可追究有关责任；提比略为了维护她和自己，没有采取行动，因为他和他的母亲利维娅都希望奥古斯都收他为子，将帝国的领导权给他。当他发现奥古斯都已属意尤莉娅和阿格里帕所生的孩子时，他就辞官退隐到罗得斯岛。他在那里度过了七年的平民生活，献身于孤独哲学和星象学。尤莉娅则越来越自由，整日朝三暮四，与朋辈狂欢聚饮，把广场扰乱得夜不安宁。
此时（公元前2年）奥古斯都已是一个60岁的病人，他的家庭、他的荣耀、他的法律同时崩溃，他吃尽了一个父亲、一个元首所能吃的苦头。按照他的法律规定，女儿与人通奸，夫不告者，父须控之。尤莉娅的不法行为铁证俱在，提比略的朋友扬言，奥古斯都如不采取行动，他们就要诉请法院。奥古斯都决定先行下手，在他女儿尽情放荡之时，发出一项命令，将他女儿放逐到潘达特里亚（Pandateria）岛，那是坎帕尼亚海岸之外一块不毛的巨大岩石。安东尼的儿子——她的情夫之一——被迫自杀，另有数人被放逐。尤莉娅所释放的女奴福柏（Phoebe）上吊而死，也不愿作不利于她的证明；这位心情烦忧的皇帝听到这种行为时说道：“但愿我是福柏的父亲，而不是尤莉娅的父亲。”罗马人求他宽恕她的女儿，提比略也参与请求，可是赦免终未来临，最终只是把她的住处移到雷吉姆（Rhegium）地区一个狭小的监房之中。她在那儿被人遗忘了16年，伤心而死。
她的儿子盖乌斯和卢西乌斯已先她而死：卢西乌斯病死于马赛（公元2年）；盖乌斯在亚美尼亚受伤而死（公元4年）。奥古斯都孤立无援，又无继承人，当时德意志、高卢、潘诺尼亚又威胁反叛，他勉强地召回提比略，收他为子，共同摄政，并立即派他前去镇压叛乱。当提比略经过五年连续艰辛的征战凯旋时（公元9年），所有原来痛恨他的罗马人，现在不得不承认一个事实，尽管奥古斯都仍然在位，但提比略的统治却已经开始了。
奥古斯都生命的最后一幕悲剧是不想活下去，但求死不能。尤莉娅被放逐时，他年虽不高，实已衰老。别人60岁时仍然精力充沛，他自从18岁来到罗马，为恺撒报了杀身之仇、实现了他的遗志以来，已经身历各式生活，死里逃生多次。在那多事的42年中，多少战争与惊险，多少痛苦与疾病，多少阴谋与毁灭，多少高尚理想的失策，都落在他的头上——一个希望跟着一个希望毁灭，一个助手跟着一个助手死亡，最后只剩下这位严厉的提比略！他想，在一生的巅峰时期，像安东尼那样死于爱人的怀中，也许要好些。他回忆尤莉娅和阿格里帕恩爱快乐、外孙们嬉戏宫内的情景，似乎又愉快又感伤，现在又一个尤莉娅——尤莉娅的女儿长大了，并取法她母亲的道德行径，决心表演她的男友奥维德诗篇里面的色情艺术。公元8年，她与人通奸的证据确凿，奥古斯都一怒之下把她放逐到亚得里亚海上的一个小岛，同时又将奥维德逐到黑海的托米（Tomi）。“但愿我从来没有结婚，”这位衰弱萎缩的皇帝哀伤地说道，“或者死了，断子绝孙！”他有时想要绝食而死。
所有他的伟大建设，似乎都要化为废墟，他为了平乱，从元老院和议会争来的权力已经衰落。他对特权和奉承都已厌倦，元老们也不再开会，只有少数几个公民出席公众议事集会。原来充满了建设野心的政府机关，现在已被能干之人视为虚浮靡费敬而远之。奥古斯都所建立的和平以及他给罗马取得的安全，已松懈了人们的骨气。没有人再愿意从军或者承认战争必定有周期性。浮华代替了质朴，性的放荡代替了父母的职责；这个伟大的民族已因本身的衰竭而走向没落。
这位老皇帝对这一切不但看得非常清楚，而且感到十分凄然，再也没有人恭维他所建立的奇妙的元首政治曾给人类带来长期的繁荣，再也无人恭维政治史上所记载的他的辉煌成就，他承认他已失败。
他在76岁时死于诺拉（公元14年）。他用一句常用于评论罗马喜剧的话对在他病榻旁边的朋友说：“因为我的戏已演完了，现在请鼓掌吧！让我在掌声里鞠躬下台。”他抱住妻子说：“利维娅，不要忘记我们的长期结合，再见。”他就以这样简单的告别式辞世而去。很多天后，元老们把他的尸体抬到墓地——战神马尔斯校场——予以焚化，而贵族儿童则为他吟唱挽歌。
