岳飛使金國武力亡宋的野心受挫，兀朮轉而向宋議和，高宗、秦檜當然求之不得。高宗對在抗金中權勢增大的武將本來就十分疑忌，於是決定解除他們的兵權。如此，既可以防止武將們功高震主，又可以借此向金人表明和談的誠意。紹興十一年（1141年）四月，南宋朝廷重演了宋太祖「杯酒釋兵權」的歷史，在杭州西湖舉行柘皋大捷慶功會，宣讀高宗「制書」，提升韓世忠、張俊為樞密使，岳飛為樞密副使，立即赴任，不再領兵。三大將就此被削去兵權。