然而，贤相主政的另一面，是接连不断的党争和日益集中的相权。
姚崇初秉大权，原本不敢擅自用事，每次有官员升迁之事，都要请示玄宗。一日，他一如往常，向唐玄宗汇报哪些官吏要升职加薪，皇帝却置若罔闻，不发一语。姚崇很慌，以为自己得罪了玄宗，满怀疑虑回到府中。
宦官高力士也不知玄宗葫芦里卖的什么药，罢朝后问道：“陛下刚刚总理天下大事，宰相上奏言事，应当表明您的立场呀，为何对姚崇的建议不闻不问呢？”
唐玄宗淡定地说：“朕任命姚崇总理朝政，遇到大事应该当面奏闻共同商议，像这种小官小吏升迁之事，也要一一来打扰朕吗？”高力士明白其中用意后，到中书省宣旨时顺便告诉了姚崇。姚崇听闻，恍然大悟，从此放心大胆施政，不再有所顾虑。
唐玄宗为姚崇和宋璟大开方便之门，实质上也是赋予宰相特权。唐初，三省六部权力制衡，将中央政令和政策的制定、审核与执行分散到中书、门下和尚书三省，而到唐玄宗时期，姚崇和宋璟先后上台，都是实质上的“首相”。其中一个表现，在于中书、门下两省的长官总有一个职位空缺。姚崇任中书令时，门下省长官侍中空缺，宋璟为侍中时，玄宗特意不任命中书令。用一些学者的说法，这是委员制变成领袖制。