隋炀帝没费一兵一卒，顺利招抚了西突厥，下一步，需要重点对付的，就是吐谷浑了。吐谷浑，原是鲜卑族一个部落的首领，西晋末期，因鲜卑内部分裂，吐谷浑带领部众，由东北迁移到西部地区，势力逐步壮大，占据了今甘肃、青海和新疆东部地区，建立了政权，政权名字就叫吐谷浑。吐谷浑处于半游牧半定居状态，文明程度比其他游牧民族高一些，势力比较大，长期称雄于西方，西域很多国家都向他进贡。
隋朝建立之初，吐谷浑时常侵扰，造成很大威胁。杨坚统一全国之后，国力强盛，几次出兵征讨，沉重打击了吐谷浑的势力。吐谷浑首领见不是隋朝的对手，软了下来，请求和好，派儿子到长安为人质。杨坚觉得难以彻底消灭吐谷浑，也愿意和好，把宗室之女光化公主嫁给了吐谷浑首领。两家虽然罢兵，但却各怀鬼胎，面和心不和。
到了杨广时期，吐谷浑对隋朝更加不服气了，他们霸占着河西走廊，严格控制着西域各国，对往来的客商多有侵犯，许多客商不敢再到中原去了。杨广觉得，吐谷浑占据着丝绸之路的重要路段，就像一只拦路虎，此害不除，丝绸之路就不得畅通，于是决定，对吐谷浑实施军事打击。
为了增强军事打击的力度，杨广派裴矩去游说铁勒部，希望与他们结好，共同对付吐谷浑。铁勒，是匈奴后裔的一个部落，势力比较弱，经常受吐谷浑欺压，而与隋朝关系比较好。铁勒首领热情接待了裴矩，得知隋朝要与他们联合打击吐谷浑，十分高兴，一口答应下来。
公元608年，铁勒部从西边攻击吐谷浑。吐谷浑没有想到铁勒敢来进犯，猝不及防，吃了败仗，向东撤到青海的西宁。这时，隋朝名将宇文述率大军从东边杀来。隋军兵强马壮，人多势众，与铁勒两面夹击，打得吐谷浑大败溃逃，俘虏吐谷浑王公以下二百多人，斩首三千余级，缴获牲畜三十多万头。吐谷浑大伤元气，再也不能危害丝绸之路了。
大败吐谷浑之后，自西宁以西，祁连山以南，雪山以北，东西四千里，南北两千里，全部落到隋朝的手里。隋炀帝在这片土地上，设置了河源、西海、鄯善、且末四个郡。同时，除了疏通原有的丝绸之路外，又开通了经过青海的新的丝绸之路。杨广开疆拓土，将青海一带大片地区，首次纳入中国版图，这确实是他的一大功绩。可惜隋末大乱的时候，吐谷浑势力重新崛起，又夺回了一些地方。
裴矩经略西域有功，升迁为民部尚书，不久又升任黄门侍郎，参预朝政，成为杨广的亲信。
隋炀帝招抚西突厥，交结铁勒，重创吐谷浑，重新打开了丝绸之路，畅通了中国与西方的联系，使贸易活动更加顺畅繁荣。同时，震服了西域各国，西域各国相继入朝拜谒、称臣纳贡。隋炀帝设置了西域校尉，重新统治了西域。
隋炀帝重新打通丝绸之路、收服西域之后，就想到西方去巡视，再次宣扬国威。然而，遥远的西行之路，却比不上塞北，更比不上江南，而是千里戈壁，荒无人烟，充满了艰辛和苦难，甚至面临死亡的威胁。那么，隋炀帝为什么还要去呢？