汉武帝的长子刘据，很早就被立为太子。后来在汉武帝晚年，巫蛊事件之中，刘据自杀身亡。刘据自杀后，他的两个儿子也同时遇害。当时，刘据已经有了一个孙子，名叫刘病已，也被抓到监狱里。汉武帝后来赦免了刘病已，刘病已由其祖母养大成人。
影视作品中的汉武帝
汉武帝去世后，汉武帝的小儿子刘弗陵即位，大权掌握在大将军霍光的手中。刘弗陵身体并不好，在当了十三年皇帝之后，刘弗陵去世，去世的时候并没有留下子嗣。霍光为了能够继续掌权，选择了汉武帝的孙子，昌邑哀王刘髆之子昌邑王刘贺为帝。但是，刘贺到了长安之后，却并不愿意听从霍光的摆布。最终，刘贺在做了二十七天皇帝之后被霍光废黜了。
霍光废黜刘贺，也是事出突然。当时，他并没有找到合适的人选。当时，汉武帝的儿子还有一个在世，这就是广陵厉王刘胥。霍光不愿意一个成年君主在位与自己争权，所以没选择刘胥。汉武帝的三儿子燕剌王刘旦的儿子也还在世。但是，刘旦曾经反对霍光，霍光也不能容忍刘旦的孩子当皇帝。选来选去，霍光选中了来自民间的刘病已，还给他改名为刘询，他就是汉宣帝。
汉宣帝即位后，霍光立即表示要归政于汉宣帝。汉宣帝虽说不到二十岁，但是毕竟从民间长大，知道人情世故。他明白，霍光的归政不过是做做样子。假如自己接受了霍光的归政，刘贺就是自己的下场。于是，汉宣帝说自己还年轻，需要多学习，天下事还要由大将军做主。当时，除了祭祀等事情之外，汉宣帝几乎什么都不管。他也十分怕霍光，见到霍光“若芒刺在背”。一直等到六年后，霍光去世，汉宣帝才真正掌握了政权。
影视作品中的霍光
汉宣帝亲政后，汉宣帝和霍氏家族之间的矛盾也逐渐开始显现。在霍光去世后，朝廷的要害部门依然把持在霍氏家族的手中。霍光的女婿范明友担任度辽将军未央卫尉，任胜为助吏中郎将羽林监，邓广汉为长乐卫尉，赵平为散骑骑都尉光禄大夫负责屯兵事宜，霍光之子霍禹为大司马，霍光的外甥女婿担任光禄大夫给事中，霍光的孙女婿王汉为中郎将。亲政后的汉宣帝逐渐开始收回属于自己的权力，先后剥夺了霍家人的领兵之权。
故剑情深
霍家子孙并不甘心就此交出权力，在他们看起来汉宣帝此举完全是忘恩负义之举。地节四年（公元前66年），霍家人眼看着汉宣帝的逼迫越来越严厉，于是霍家人试图发动一场政变。关键时刻，汉宣帝先下手为强，粉碎了霍家人的阴谋。霍光的全部子孙，无一幸免，都被处死。因受霍家谋反而被杀的人多达数千家，整个朝堂为之一空！汉宣帝亲政后，绝对不会允许朝廷之中还有自己不能控制的势力。霍光经营朝堂数十年，盘根错节，影响巨大。汉宣帝要想真正掌握政权，也必须清除掉霍光的势力。
汉宣帝画像
不过，汉宣帝并没有清算霍光，毕竟自己是被霍光拥立的。而且，霍光执政几乎二十年，他的功业也是不容否认的。假如否定的了霍光，汉宣帝自己地位的合法性就会受到质疑。所以，汉宣帝虽然彻底铲除了霍光的势力，但并没有否定霍光。汉宣帝还将霍光列为麒麟阁功臣之首，称之为博陆宣侯，连其名讳都不说。
汉宣帝杜陵
其实早在汉宣帝动手之前，就有人向汉宣帝提出，是不是应该采取一些措施限制一下霍家的势力？结果汉宣帝对于这个人的建议不置可否，轻轻放过了。等到汉宣帝铲除了霍家势力，并对有功人员进行封赏之后，原先那个向汉宣帝提出建议的人就找到汉宣帝，他说假如一个人向邻居提建议应该采取一些措施防止火宅，结果邻居没有听。等到邻居家真的发生了火灾，那些来救火的人都被看成是恩人，而原来那个提建议的人却受到冷落，不觉着不合情理吗？其实这个人不明白，汉宣帝并不是不采纳他的建议，汉宣帝其实是要彻底铲除霍光家族的影响而已……