杨广爱唱独脚戏
杨广自命不凡，觉得自己很了不起，想当一个空前绝后的伟大帝王。因此，他不能容忍德高望众的前朝大臣，也不重用忠心耿直的亲信，他所重用的，几乎都是阿谀奉承、溜须拍马之徒。杨广又喜欢独断专行，不听谏言。所以，在杨广执政期间，都是他一个人在唱独脚戏。
《隋书》记载，杨广在继位之初，为了稳定政局，不得已任用了一批老臣。隋文帝创立了三省六部制，三省的正副长官都属于宰相。杨广任命的六位宰相，分别是杨素、杨素的弟弟杨约、杨素的叔叔杨文思、老臣苏威、宗室杨达、萧皇后的哥哥萧琮。
这些宰相的特点，一是杨素家族的人占一半；二是都出自关陇贵族集团；三是都是隋文帝时期的旧臣，功绩卓著，经验丰富，名望甚高。
杨广的治国思路与他的父亲隋文帝不一样，而且喜欢一意孤行，自然对老臣们看着不顺眼，用得也不顺手。于是，时间不长，杨广就对这些元老旧臣下手了。
杨广首先冷落杨素，逼迫杨素很快死掉了。接着，杨广把杨约赶出朝廷，贬为地方官，杨约不久忧郁而终。杨文思当时已经七十多岁了，受此惊吓，很快也死了。这样，杨素家族势力就被清除干净了。
在剩下的三个人当中，苏威与高颎关系不错，萧琮与贺若弼是朋友，于是，杨广在诛杀高颎、贺若弼的时候，借机把苏威、苏琮免官。萧琮不久死去。苏威还算幸运，后来又被杨广重新启用。剩下一个杨达，见势头不妙，主动要求改任武职，自己离开了朝廷。杨达是女皇武则天的外祖父，还是挺有远见的。
杨广清除了元老旧臣，松了一口气，可是，朝廷之事千头万绪，总要有人管啊。杨广按照自己的想法，重新搭建了朝廷班子。杨广首先改革了中央官制，在原来尚书省、内史省、门下省的基础上，又增设了殿内省和秘书省，成了五省。隋文帝设立三省，目的是分宰相之权，强化皇权，现在权力更加分散了，一切大权都由杨广一人掌握。
杨广还嫌不够，规定五省的长官，只负责办理具体事务，而不参预朝政，实际上成了办事人员。杨广精心挑选了五个人，参与决策国家大事，相当于宰相，号称“五贵”。
“五贵”有一个共同的特点，就是特别温顺听话，很会看杨广的脸色行事。这几个人虽然号称“五贵”，但官职并不高。这是杨广独出心裁设计的，官职低，权威性就不够，说话份量就不重，自然一切都由杨广说了算。
“五贵”之一的裴矩，算是有能力的。他知道杨广有雄心大志，便献上了征服西域的策略，在打击吐谷浑、收服西域中立有大功，得到杨广赏识，视为亲信。史书没有记载他对杨广有任何进谏之言，反而处处顺着杨广的心思说话。杨广死后，裴矩投降了唐朝。