宋灭之后，伯颜随忽必烈南征北战，曾平叛王乃颜之乱。乃颜本是成吉思汗幼弟铁木哥斡赤斤的玄孙，为元朝蒙古宗王。忽必烈给他大面积的封地，为他建立行省，施行地方自治。但乃颜仍不知足，勾结成吉思汗的两个弟弟哈撒儿、合赤温的后代势都儿和胜纳哈儿、哈丹秃鲁乾等人，举兵叛乱。
伯颜与忽必烈的爱将玉昔帖木儿一上阵，将叛军打得屁滚尿流、仓皇而逃，回京之后两人分别得到嘉奖。伯颜在两年后遂升为知枢密院事。由于元江山未定，时有叛乱发生，伯颜一直奔走于战场。一生过于直顺的伯颜，从未想过有朝一日自己会遭到谗言之害。一些朝臣以“将在外，君命有所不受”的罪名在元世祖忽必烈面前大说特说，令忽必烈心生疑窦，忽必烈左思右想，生怕再有变乱发生，决然将伯颜罢职。世祖死后，铁穆耳即位，立刻将伯颜官复原职，但此刻已是“廉颇老矣”，一身病痛的伯颜无力再上战场，于第二年病卒家中，被追封为“淮安王”。
淮水历来是元朝认为最重要的南北水域、气候分界线，军事意义非凡，以“淮安”二字作为伯颜的谥号，说明帝王肯定了他一生的丰功伟业。