裴矩在唐朝却一反常态，敢于直言，给李世民提了不少意见，深受李世民信任。司马光评价他说，裴矩在隋朝是个佞臣，对皇帝光说好听的，到了唐朝却变成了诤臣，敢于直言进谏，这不是他的性格变了，而是皇帝换了。只有君明，才有臣直。
“五贵”之二的裴蕴，与裴矩同族，但远不如裴矩的人品。裴蕴原是南陈旧臣，归降了隋朝。裴蕴善于揣摩杨广的心思，喜欢阿谀奉承。裴蕴身为御史大夫，却司法不公，结党营私，陷害好人，名声很坏。江都兵变的时候，宇文化及将杨广和裴蕴一同杀掉。
“五贵”之三的虞世基，也是南陈旧臣，是著名书法家虞世南的哥哥。虞世基个性恬静，喜怒不形于色，善写文章，书法很好。虞世基工作勤奋，精确严密，他为皇帝起草诏书，每天都要写上一百多张纸，从来没有遗漏错误，受到杨广信任。
但是，虞世基谨小慎微，唯唯诺诺，从不敢忤逆杨广的心意，特别是高颎等大臣被杀之后，虞世基更是战战兢兢，唯恐惹祸，明哲保身。在天下大乱的时候，各地纷纷奏报起义之事，虞世基知道杨广厌恶听到这类消息，竟不敢上报。江都兵变时，虞世基也被宇文化及杀害。
“五贵”之四的苏威，是北周、文帝、炀帝三朝老臣，他博学多才，治国理政能力很强，在隋文帝时期就是“四贵”之一，与高颎同掌朝政。在隋文帝时期，苏威敢于谏言，到隋炀帝时期，苏威却装聋作哑了。有一次，杨广问宇文述：“听说外面反贼很多？”宇文述违心地说不多。杨广又问苏威，苏威不愿意说假话，也不敢说真话，就假装没听见，躲到柱子后面去了。
“五贵”之五的宇文述，是杨广的心腹亲信，并且与杨广是儿女亲家。宇文述参与杨广夺取太子的阴谋，在杨坚想要更换太子的关键时刻，是他领兵包围了杨坚寝宫。宇文述对杨广十分忠心，可他是个武将，只知道上阵杀敌，不懂得朝政，又为人贪婪，生活腐化，家中财宝堆积如山，美女数百人，奴仆上千人。
宇文述一切以杨广马首是瞻，一味地阿谀奉承，深受杨广宠信。宇文述病死以后，杨广继续宠信他的儿子宇文化及，不料却死在了宇文化及的手里。
从《隋书》记载来看，杨广宠信的这“五贵”，个个对杨广唯命是从，甚至溜须拍马，根本不敢进谏，任凭杨广一个人瞎折腾。杨广大权独揽，唱独脚戏，搞一言堂，为所欲为，自以为得意，岂不知是亡国之道。
宋朝有个叫范祖禹的人，写了一部史书，名叫《唐鉴》，其中有句名言：“国将兴，必赏谏臣；国将亡，必杀谏臣”。在杨广执政时期，居然没有出过一个有名的谏臣，一切都由杨广个人说了算，隋朝岂能不亡？
由于没有谏臣，杨广为所欲为，折腾得越来越厉害，越来越离谱。后来，杨广举全国之力，连续三次发动了对高句丽的大规模战争，国力民力再也无法承受，终于引发了天下大乱。