后来一些话传到皇帝的耳朵里，贺若弼被逮捕下狱。
皇帝杨坚责备他说：
“你这人有三太猛：自以为是心太猛，嫉妒心太猛，随口胡说目无长官的心太猛。”
因为他有功，不久就放了。他还不吸取教训，又对其他人夸耀他和皇帝太子间的关系，说：
“皇太子杨勇跟我之间，情谊亲切，连机密也都对我附身相告，言无不尽。”
后来杨勇在隋文帝那里失势，杨广取代了皇太子的地位，贺若弼的处境可想而知。
贺若弼此时却不识大体，本来形势就对他不利，他还在那里为杨勇鸣不平。隋文帝得知他又在那里大放厥词，就把他召来说：
“我用高熲、杨素为宰相，你多次在众人面前放肆地说‘这两个人只会吃饭，什么也不会干’，这是什么意思？言外之意是我这个皇帝也是废物不成？”
贺若弼回答道：
“高熲是我的老朋友，杨素是我的表兄，我了解他们，我也确实说过他们不适合当宰相的话。”
这时因他言语不慎，得罪了不少人，朝中一些公卿大臣怕受牵连都揭发他过去说的那些对朝廷不满的话，并声称他罪当处死。