唐玄宗想提升李林甫为宰相，跟张九龄商量。张九龄看出李林甫是个心术不正的人，就直截了当地说：“宰相的地位，关系到国家的安危。陛下如果拜李林甫为相，只怕将来国家就要遭难了。” 李林甫听到这些话，把张九龄恨得咬牙切齿。
朔方(治所在今宁夏灵武)将领牛仙客没读过书，但是很会理财。唐玄宗想提拔牛仙客，张九龄不赞同。李林甫在唐玄宗面前说：“像牛仙客这样的人，是宰相的合适人选；张九龄是个书呆子，没有大局观念。”
有一次，唐玄宗又找张九龄商量任用牛仙客的事。张九龄还是不同意。唐玄宗生气地说：“难道什么事都得由你做主吗!”
经过几件事，唐玄宗越来越讨厌张九龄，加上李林甫的挑拨，终于找了个借口撤了张九龄的职，让李林甫当了宰相。李林甫当上宰相后，第一件事就是要把唐玄宗和百官隔绝，不许大家在玄宗面前提意见。有一个谏官不肯依附李林甫，上奏本向唐玄宗提建议。第二天他就接到命令，被降职去外地做县令了。大家知道这是李林甫的意思，以后谁也不再向玄宗提意见了。