当时，从青海翻越祁连山，到达张掖，没有道路，只有一条山谷，名叫大斗拔谷，就是现在甘肃省民乐县境内的扁都口。大斗拔谷全长八十里地，路况复杂，最窄的地方，只容许一个人通过，而且由于夜里气温很低，只能是白天行走。所以，自古以来，只有牧羊人和少数胆大的商人在这里走过，从没有过大队人马通行的记录。
隋炀帝的人马众多，但别无选择，只得冒险翻越大斗拔谷。杨广的队伍里，有大批文官、艺人、僧侣和嫔妃公主，因此，无论怎样催促，行军速度仍然缓慢，结果走了整整一天，也没有走出大斗拔谷。随着夜幕降临，厄运就降临到他们头上了。
祁连山气侯变化莫测，白天阳光普照，人们热得大汗淋漓，可到了夜里，气温骤降，刮起寒风，下起了大雪，顿时寒冷透骨。隋炀帝一行带的帐篷不多，士兵们只好紧紧挤在一起，抱成一团，依靠体温御寒。大臣们和一些嫔妃公主，也顾不上高贵的身份，与士兵们混挤在一起。结果，仍然抵御不住肆虐的寒风，成千上万的人被活活冻死。《隋书》说：“士卒冻死者大半”。真是人间惨剧。
死的不仅是士卒，还有一些弱不禁风的嫔妃公主们，其中就有大名鼎鼎的杨丽华。杨丽华是杨坚的长女、杨广的亲姐姐，她原本是北周皇帝宇文赟的皇后，杨坚就是靠着这个宝贝女儿，才当上了辅政大臣，后来篡周建立了隋朝。杨坚称帝以后，封杨丽华为乐平公主。没有想到，这位昔日的皇后、今天的公主，如此高贵之人，也死在了隋炀帝西巡的路上，享年四十九岁。真是可悲可叹啊！
隋炀帝一行历经艰险，终于到达了张掖。这里却是另外一种景象，在张掖焉支山下，裴矩已经召来了西域三十多个国家的首领和使节，焚香奏乐，恭恭敬敬地迎接圣驾。另外，还有大批民众，身穿各民族服装，载歌载舞，欢迎隋炀帝。面对这万民欢腾的局面，隋炀帝在祁连山中的苦闷心情一扫而光，马上兴高采烈起来。隋炀帝决定，要在张掖好好炫耀一下大隋国威。
隋炀帝就像出巡塞北一样，大摆宴席，盛情款待各国首领和使节。隋炀帝下令，让张掖、武威两郡的百姓，都身穿盛装，聚集到焉支山下。隋炀帝带去的百戏艺人，如今终于派上了用场，人人大显身手，歌舞表演、说书唱戏、杂技魔术，应有尽有，精彩纷呈。西域首领使节们大开眼界，赞叹不已。活动一连搞了多日，周围几百里的民众纷纷涌来，把方圆几十里的路都塞满了。原来人烟稀少的焉支山，一下子变得热闹起来，形成了巨大的闹市，简直是千古奇观。
隋炀帝在张掖耍尽了威风，又继续西行。可是，张掖以西，是千里戈壁，荒无人烟，杨广带去的百戏艺人，再也没有用武之地了。西行路上，根本不见人影，时常大风呼啸，飞沙走石，又时常风雪弥漫，隋炀帝一行吃尽了苦头。
不过，杨广怀有大志，他亲眼看到疆域之辽阔，山河之壮丽，并没有因荒凉而感到不快，反而又诗兴大发。诗曰：“肃肃秋风起，悠悠行万里。万里何所行，横漠筑长城。……释兵仍振旅，要荒事万举。饮至告言旋，功归清庙前。”这首诗，抒发了杨广希望建立千秋大业的雄心壮志，后人称之为“通首气体强大，颇有魏武之风”。
隋炀帝对辽阔的西部是怎样进行巡视的，《隋书》没有具体记载，只是记载说，隋炀帝亲自出了玉门关。玉门关，位于河西走廊最西端，在敦煌以西九十公里处，满目荒凉，别说是人迹，连鸟影也没有。唐朝诗人王之涣“春风不度玉门关”的著名诗句，流传至今。连春风都到不了玉门关，隋炀帝却到了，真够豪迈的。隋炀帝是历史上唯一一个跨越玉门关的皇帝。
隋炀帝西巡，历时半年之久，一路风餐露宿，历经艰辛，虽然其志可嘉，但也损耗了大量财力，还无辜牺牲了数万士兵的性命，得不偿失。本来，杨广收服西域立有功劳，可他好大喜功，搞了这样一次意义不大的西巡，就把功劳抹去了不少。何苦呢？
杨广不仅好大喜功，而且喜欢奢侈豪华，讲究排场。在这方面，杨广也创造了历代皇帝之最。