在这之前，隋炀帝曾经两次巡游江南。第一次是在公元605年，杨广登基不久，大运河通济渠刚刚开通，他兴致正高，便带领数十万人马，浩浩荡荡下江南，其排场规模空前绝后，风光无限。第二次是在公元610年，杨广征服四方，大隋朝达到鼎盛，他带领大批人员再游江南，同样是声势浩大，威风八面。而这第三次去江都，与前两次已经不能同日而语了，如今是天下大乱，局势危急，杨广是不得已前去避难的。
杨广这次去江都，规模同样十分庞大，随行人员很多。杨广心里很清楚，这一次下江南，可能就回不来了，所以，他要带着文武百官、嫔妃宫女、皇室宗亲，还有军队和大量金银财宝，相当于搬家，人数之多、规模之大，不亚于前两次。
对杨广下江南的决定，朝廷百官、军队将领尤其是关陇贵族集团，都十分不满，因为他们心里也清楚，杨广是想抛弃北方。皇帝一走，北方就完了，可他们的根基、财产、家庭都在北方，那是带不走的，因此，他们都希望杨广留在京师，挽救危局。但是，大臣们慑于杨广淫威，谁也不敢谏言。杨广曾经公开说过，他最讨厌别人谏言，谁敢谏言，他就想杀了谁，事实上也确实杀了不少。
大臣们不敢说话，有些级别低的官员却进言了，他们觉得，在这危局之中，皇帝巡游江南，实在是太不合时宜了，于国家大大的不利。当然，他们可能不了解杨广想放弃北方的真实想法。
有个叫赵才的将领进谏说：“如今盗贼蜂起，局势不稳，愿陛下坐镇京师，以安民心”。杨广听了，二话没说，把赵才关进了监狱。有个叫任宗的六品小官，上书劝杨广不要离开京师。杨广恼怒，直接把他杀了。有个叫崔民象的九品小吏，也给杨广上书，劝他以江山社稷为重，不要巡游江南。杨广大怒，把崔民象抓来，先砍去他的嘴巴，再砍去他的脑袋。这样，朝廷内外，谁也不敢再吭声了。
杨广铁了心，非要下江南不可。临走之前，他留下两个孙子，一个叫杨侗，镇守东都洛阳；一个叫杨侑，镇守西都长安。这两个孙子，都是十几岁的孩子，能顶什么用呢？
公元616年7月，杨广第三次巡游江南，仍然与前两次一样，乘坐龙舟，沿运河前进。可是，杨广这次的心情，与前两次截然不同，前两次是何等的威风，何等的春风得意啊，这一次却是满心凄凉。杨广一路上，仿佛听见两岸不断有人唱着悲惨的歌曲，派人察看，却始终不见人影，杨广感到十分奇怪。老百姓都纷纷说，那是鬼在唱歌，都是在开挖大运河时候死的冤魂。杨广听了，吓出了一身冷汗。
杨广一路上也没有游山玩水，纵情声乐，他是到南方避难去，哪里还有闲情逸致，只想着快点赶到江都。所以，时间不长，杨广一行就到了江都，也就是现在的扬州。
杨广到了江都不久，北方就发生了一件惊天大事，惊得隋炀帝目瞪口呆。原来，杨广的表哥、属于皇亲国戚的李渊，也在太原起兵造反了。李渊兴兵太原，给了隋炀帝沉重一击，表明杨广已经众叛亲离了。