同年夏，武帝再命霍去病與公孫敖率數萬騎兵，自北地出塞，使張騫、李廣領萬四精騎，東線牽制匈奴。霍去病在公孫敖迷路下，孤軍攻祈連山，與渾邪、休屠王激戰，斃俘三萬多人，虜單于閼氏(即妻子)、王母王子等。渾邪、休屠王恐單于怪罪嚴懲，相約向武帝投降。後休屠王反悔，渾邪王怒施突襲，殺休屠王，收其部眾，率四萬人降。武帝大悅，重賞渾邪王，散降部於沿邊隴西、北地、朔方、雲中、代五郡，建五屬國供其保留原有風俗而居。