杨广的王府，陈设十分简陋，没有一件奢华的东西。杨广嘱咐仆人，不要打扫乐器上的灰尘，而且故意弄断琴弦。有一次，杨坚去杨广府上，见乐器上落满了厚厚的尘土，琴弦也断了，明显很久没有用过。杨广禀告父亲说：“儿臣不喜欢声乐。”杨坚很高兴，夸奖了他一番。
杨广不仅处心积虑地讨好父母，对父母身边的宦官侍女，也用心交结。宦官侍女们不论贵贱，只要到了杨广府上，杨广一律热情接待，并给予赏赐。独孤皇后身边的侍女，杨广更是降低身份，极力讨好，甚至让王妃萧氏，陪着她们同桌吃饭、同床睡觉。杨坚身边有个宣华夫人陈氏，当时尚未受宠，杨广也暗中交往，常送她金蛇、金驼等江南贵重之物。所以，宫中之人，几乎都说杨广的好话。杨坚夫妻听了，更加高兴。
杨广对朝中大臣，也是谦恭有礼，极力拉拢，与杨素等重臣，更是结为知已。杨广很注意自己的形象，有一次，在行军途中，忽然下起大雨，随从赶紧递上雨衣，为杨广遮雨。杨广却一把推开，说：“全军将士都在淋雨，我要与他们同甘共苦。”因此，杨广在朝廷和军队中的口碑，也是不错的。
杨勇的太子妃得急病死了，独孤皇后怀疑是杨勇害死的，对左右说：“元妃身体一直很好，没有什么病，怎么说死就死了，莫不是有人下毒害了她？”
杨广很快就知道了这个消息，他觉得是个好机会。在一次返回扬州与母亲告别时，杨广跪在母亲面前，痛哭流涕，长时间不肯起来。独孤皇后觉得奇怪，杨广吞吞吐吐地对母亲说：“我不知道什么地方得罪了哥哥，哥哥几次送来有毒的食物，想要害我。我怕今日一别，就再也见不到母亲了。”说完，放声大哭，悲痛不已。独孤皇后闻言大怒，遂下定决心，要废掉杨勇。
杨广见母亲这一头搞定了，赶紧找到杨素，让他加紧活动。杨素早就与杨广结成了同盟，但更换太子，事关重大，他要当面了解独孤皇后的想法。过了几天，宫中举行宴会，杨素借机向独孤皇后夸赞杨广，试探她的态度。独孤皇后与杨素的关系非常好，不再瞒他，把更换太子的意图和盘托出，并送给杨素一些金子，让他去联络大臣们。杨素心里有了底，此后更加卖力地帮助杨广。
杨素身居高位，在朝中很有势力，他指使手下党羽，或者散布流言，或者上奏皇帝，纷纷指责太子杨勇的过错，赞颂杨广的美德。杨坚见状，感叹道：“皇后多次劝我更换太子，我一直不忍心，没想到太子确实不像话，以至于犯了众怒。”
杨坚对杨素十分信任，杨素在关键时候，多次说太子的坏话，又设计陷害他，使杨坚终于下了决心，废黜了杨勇，改立杨广为太子。
杨广依靠阴险狡诈和虚伪表现，在独孤皇后和杨素的倾力支持下，终于如愿以偿，登上了皇帝宝座。然而，如此德行不端之人，必定会给隋朝带来巨大灾难。隋朝真是大不幸！
杨坚的第三子杨俊，与前边的两个哥哥不同，他没有政治野心，因而不用掩饰，一心追求享受，横行不法。