帝好色,曾自言「能三日不食,不能一日無婦人」,他雖有後宮八千,尚感不足,還常趁出巡時寵幸民女。一次,他微服出獵,晚借宿於野外富戶,見一婢女頗有姿色,暗命隨從召來伴寢。半夜,婢女丈夫辦事歸來,怒而持刀欲破房捉姦,被另一借宿書生的驚叫所阻。武帝竟殺其夫,收婢入宮。而他的寵妃,如後來的皇后衛子夫,本為陽平公主的歌姬;最懷念的李夫人,出身娼門;出巡河間帶回來的昭帝之母鉤弋夫人等,皆初遇於宮外。