由于宇文述的原因，杨广对他的长子宇文化及也很亲密，先让他当了东宫的高级僚属，后又担任了太仆少卿。可是，宇文化及兄弟俩却贪赃枉法，犯了死罪。杨广看在宇文述的面子上，没有处死他俩，只是免去了官职。宇文述在临死之前，为儿子求情。杨广不忍心违背宇文述心意，便任命宇文化及为右屯卫将军，宇文智及为将作少监，兄弟俩成了朝廷高官。杨广没有想到的是，他竟然死在了宇文化及兄弟手里。
杨广到江都的第二年，表哥李渊起兵造反了，并且立了杨侑当皇帝。消息传来，立刻掀起轩然大波。可是，杨广除了切齿痛骂之外，没有任何办法。杨广知道，北方是完了，江都虽然远离中原，但在长江北岸，依然不够安全。于是，杨广想渡江南下，迁都南京，划江而治。
在东晋十六国和南北朝时期，南方和北方都是划江而治，时间长达数百年。隋朝灭掉南陈，统一全国，也只有三十多年的时间，所以，此时杨广想要划江而治，是很自然的事情。当年，正是杨广率兵渡江，灭掉南陈，实现了国家统一；如今，杨广迫于无奈，又想划江而治，真是莫大的讽刺。
有一天，杨广喝得半醉，自嘲地对萧皇后说：“外面有很多人在算计朕，没关系，让他们折腾去吧，朕大不了就当长城公，你大不了就当沈皇后，咱们照样喝酒快乐”。长城公是南陈皇帝陈叔宝，被隋朝封为长城公。杨广自比陈叔宝，可见他的狂妄大志，已经荡然无存了。
迁都南京是件大事，需要与群臣商议。杨广把想法一说，大臣们立刻沉默下来。朝中大臣多数属于关陇贵族集团，世代居住关中，老婆孩子和家产都在北方，自然不愿意去南方。这个时候，杨广的五个宰相当中，宇文述已死，苏威被免了官，只剩下裴矩、裴蕴、虞世基三人了。裴矩历来顺从杨广，裴蕴、虞世基原是南陈旧臣，曾经长期生活在江南，愿意去南方。所以，三位宰相都表示同意。
右侯卫大将军李才忍不住了，他是武将，性格率真，直言进谏，不仅反对迁都南京，而且要求打回北方去。杨广脸色阴沉下来，强忍着没有发作。文官李桐客见有人带了头，也壮着胆子，进言说：“江南潮湿，北方人不适应，地方面积又小，恐怕难以支撑起大隋朝”。杨广再也忍不住了，喝令把李桐客打入监牢。群臣见皇帝发了怒，谁也不敢再吭声了，迁都大事就这样定了下来。
隋炀帝打算迁到江南去的消息传开，立刻引起隋军将士的不满和骚动。他们眼见大好河山被杨广糟蹋殆尽，杨广还曾经失信，承诺不兑现，本来心里就有气，如今又要抛弃故土，移居江南，更是气愤，于是议论纷纷，军心动摇。
杨广没有想到，他的迁都计划没有实现，反而引发兵变，死于非命，划江而治也成了泡影。