杨广上台不久，就大兴土木，南北巡游，搞得民怨四起。张衡心里很着急，总想找机会劝谏皇上。公元608年，杨广巡游汾阳宫，见汾阳宫不够气派宏大，便下令扩建。张衡借机进谏说：“这几年搞的大工程不少，老百姓有些疲惫，请陛下注意，以后少做这样的事情。”
张衡本来是一片忠心，杨广听了，心里却很不舒服。他认为自己对张衡够好的了，可张衡还对他挑毛病，岂有此理？杨广对侍臣们说：“张衡自以为有他的计谋，朕才当上天子，因而居功自傲”。
杨广有了这样的想法，张衡自然就失宠了。不久，杨广找了个借口，把张衡贬为榆林太守，赶出了京城。
杨广是想惩戒一下张衡，让他自我反省，以后还要重用他。第二年，杨广再次巡游汾阳宫，把张衡召来，打算带他回京复职。按杨广的想法是，张衡经过惩罚，应该是诚惶诚恐，寝食不安，身体消瘦了许多。可是，当张衡来到杨广面前时，却是红光满面，体态肥胖了不少。杨广心里不高兴了，觉得这小子日子过得挺滋润的，看起来，是没有进行认真思过，于是便敷衍了几句，仍然让他回榆林去了。
后来，杨广大建江都宫。江都宫是杨广在扬州的宫殿，规模宏大，豪华气派。杨广又想起了张衡，诏令张衡前去监工。张衡本来对杨广大兴土木就有意见，因而并不卖力，杨广很不满意。这个时候，薛道衡无辜被杀，世人一片喊冤声。张衡也对人说：“薛道衡真是冤枉”。
张衡为薛道衡喊冤，被人告发。杨广大怒，下令把他抓起来，打算处死。张衡在狱中被关了很久，杨广念及旧情，最终没有杀他，只是把他削官为民，让他回老家去了。
看来，张衡的性格的确比较耿直，不够圆滑，在经历了一系列惩罚之后，并没有反省自己，更没有向杨广服软求情，反而对杨广十分失望，心中极为不满，经常口出怨言。
公元612年，杨广东征兵败，心情郁闷。这时，张衡的小妾上书告发，说张衡心怀怨恨，整天在家中大发牢骚，诽谤皇帝。杨广怒不可遏，当即令监刑官赶到张衡家中，逼令他自尽。
张衡也和薛道衡一样，不肯自己了断，反而破口大骂。张衡骂了些什么？《隋书》没有记载，只是说监刑官用双手捂住自己的耳朵，不敢听。大概张衡揭露了杨广不少丑事，不堪入耳。监刑官没有办法，只好把张衡勒死了。
从《隋书》记载来看，张衡应该是没有杀害杨坚，否则的话，杨广早就把他除掉灭口了，用不着一再惩罚他。
张衡作为杨广的心腹亲信，只因为劝谏杨广不要奢侈，就失宠被杀。看来，杨广不需要听逆耳忠言，他需要的，是俯首帖耳的奴才。