这种人不可多得，可谓牛仙客第二。
他上任后，我也享受了一段清静无争的太平日子。依照旧例，大唐开国以来的宰相，每日办公必须到午后六刻才能退朝。我以前也一直是这样的。倒不是严格遵守上下班制度，而是不待在朝堂上我不放心。我怕同僚私自揽政，把我架空。而自从陈希烈一来，我浑身轻松，就上奏天子说，如今天下太平无事，我也可以每天提前下班了。从此凡是早朝散后，巳时（上午九时至十一时）我便打道回府，让各省各部的待批文件、一切军国要务都送到我的府上去。我在家中决断后，有关官员再拿去给陈希烈签名，也就是走走形式而已。
天宝五载秋天又发生了一件事情，终于让我逮住机会把韦李一党的人全部赶尽杀绝。
对付这种在朝中尚有残余势力的人，一定不能让他们有喘息的机会。如果你掉以轻心，让他们有朝一日咸鱼翻身，你自己绝对会死无葬身之地。
这件事是韦坚那两个傻乎乎的弟弟干的。一个是将作少匠韦兰，另一个是兵部员外郎韦芝。他们上书为韦坚喊冤，结果令皇帝勃然大怒。太子一下就慌了，为了自保，赶紧要求和韦妃离婚，声明自己绝不以亲废法。几天后，韦坚被贬为江夏别驾，韦兰和韦芝流放岭南。我对皇帝说，看来韦坚和李适之在朝中的朋党势力还很庞大啊！皇帝深有同感，于是将韦坚流放临封，贬李适之为宜春太守；同时把韦坚的宗族亲党数十人全部罢黜。
