因为司马迁在朝堂上与霍去病几乎处于对立面,历史上文官武官互相看不惯也非少见。司马迁一方面肯定了霍去病的战略才能,但在另外一方面,他对霍去病在行军过程中不体谅士兵们的态度极为不满,特别是他宁可自己的食物腐坏也不分给士兵和在征战中搭建蹴鞠场的行为令司马迁不敢恭维。而卫青的和柔事主也使司马迁与其产生了一些矛盾,所以将他们归入其中也是自然。但是实质上在佞幸传中他主要抨击的是李广利这样的佞臣,对卫青和霍去病的描述并不多,所以总体来说还是比较客观的。