然而,贤相主政的另一面,是接连不断的党争和日益集中的相权。
姚崇初秉大权,原本不敢擅自用事,每次有官员升迁之事,都要请示玄宗。一日,他一如往常,向唐玄宗汇报哪些官吏要升职加薪,皇帝却置若罔闻,不发一语。姚崇很慌,以为自己得罪了玄宗,满怀疑虑回到府中。
宦官高力士也不知玄宗葫芦里卖的什么药,罢朝后问道:“陛下刚刚总理天下大事,宰相上奏言事,应当表明您的立场呀,为何对姚崇的建议不闻不问呢?”
唐玄宗淡定地说:“朕任命姚崇总理朝政,遇到大事应该当面奏闻共同商议,像这种小官小吏升迁之事,也要一一来打扰朕吗?”高力士明白其中用意后,到中书省宣旨时顺便告诉了姚崇。姚崇听闻,恍然大悟,从此放心大胆施政,不再有所顾虑。
唐玄宗为姚崇和宋璟大开方便之门,实质上也是赋予宰相特权。唐初,三省六部权力制衡,将中央政令和政策的制定、审核与执行分散到中书、门下和尚书三省,而到唐玄宗时期,姚崇和宋璟先后上台,都是实质上的“首相”。其中一个表现,在于中书、门下两省的长官总有一个职位空缺。姚崇任中书令时,门下省长官侍中空缺,宋璟为侍中时,玄宗特意不任命中书令。用一些学者的说法,这是委员制变成领袖制。