第一,卫子夫失宠;第二,为新太子刘弗陵扫除障碍,汉武帝害怕外戚干政;第三,巫蛊之祸成为了导火索。
卫子夫卫青姐弟虽然出身低贱,是奴婢与人私通所生,但随着卫子夫成为皇后,卫氏一族也权势煊赫,卫子夫是皇后,其兄长卫长君是宫廷侍中,姐夫公孙贺是宰相,妹夫是东宫总管,卫青成为大将军后,更是娶了汉武帝的姐姐平阳公主,三个儿子尚在襁褓就被封侯,卫氏一族的权位如日中天。
更有野史传闻,汉武帝与卫青关系匪浅,而卫青的外甥霍去病,也深受汉武帝之宠,与当年的武帝男宠韩嫣,有过之而无不及。
虽然卫子夫失宠、卫青与霍去病死去,但卫氏一族的庞大势力仍旧存在,汉武帝担心外戚干政,当年吕后垂帘,薄太后的娘家人也曾干涉文帝新政,而自己登基后,太皇太后窦氏与自己的生母王太后也都插手政治。
汉武帝晚年,巫蛊之祸成为导火索,卫氏一族倒台,然而,同属卫氏一族的霍家崛起,霍去病的弟弟霍光成为了朝廷新的主宰。