霍去病的妻子在史书上没有记载，是终生未娶还是另有原因，不过史书倒是记载他有一个儿子，霍嬗，字子侯，河东郡平阳县(今山西临汾西南)人，生母未见史书，估计霍嬗的生母是个不被世俗接受的女人没能娶为妻。
霍去病从十七岁到二十三岁去世，短短六年里六次出击匈奴实行远途奔袭，仗都打不过来，根本没有功夫娶老婆。霍去病本人看不起女人，根本原因是看不起他母亲卫少儿，他的母亲卫少儿是汉武帝姐姐平阳公主家里的奴婢，在与平阳县衙役霍仲孺私通后，生下了霍去病。
霍去病眼里女人就只配给男人玩得份，他有一个儿子叫霍嬗，说是他和他府里的一个侍女生的，侍女身份低微得很，霍去病当然不会娶她，他只认了霍嬗，让他做了自己的私生子。在汉朝私生子是可以容忍的，况且霍去病本人也是私生子，对于霍嬗，霍去病也懒得管，一直把他放在卫青家受教育。霍去病死的时候霍嬗才四岁，汉武帝看在霍去病的份上让这小孩继续做冠军侯，准备把他培养成第二个霍去病，后来汉武封泰山，独独把霍嬗带上山顶举行了秘密的仪式，回去之后霍嬗就死了，也是死的不明不白，估计是他泄漏了汉武封禅的“秘密”，被汉武秘密结果掉的。
霍嬗死时才十一岁，当然没有后代，霍去病就绝后了，但是按封建礼制，兄死无后，弟弟应该负责为哥哥续后，因此霍光就与霍去病旧时的一个侍女(不知道是不是霍嬗的母亲)生下一对双生子，名叫霍山、霍云，过继给霍去病当孙子(按年龄应该是儿子辈，无奈中间毕竟还隔着个霍嬗)。霍光把持朝政三十年，死了以后汉宣帝剪除了霍氏，霍氏一门被族诛。
野史上说霍去病的妻子是翠羽公主，是匈奴单于的侄女。陕西省图书馆里，有一本叫《汉武帝》的书上写：他和卫子夫的女儿阳石公主青梅竹马，霍去病常陪小公主玩，小公主很漂亮，也很仰慕去病，但去病说要建功立业击破匈奴再成亲，结果却英年早逝。霍去病可能一生并未娶妻，但他有个儿子霍嬗确实真的。