心腹之人也被杀
杨广为了清除前朝影响，铲除异己，树立个人淫威，连续诛杀了高颎、贺若弼、宇文弼、薛道衡等元老大臣。这些人，确实与杨广不完全是一条心。可是，对于有恩于自已的心腹之人，杨广也照杀不误，除了杨素之外，张衡又是一例。
《隋书》记载，张衡是河南沁阳人，出身于官宦之家，祖父和父亲都当过大官。因此，张衡从小就受到了良好的家庭教育。
张衡十五岁时，进入太学学习，接受高等教育。他勤奋刻苦，认真钻研，对什么问题都要弄个明白，因而他的学习成绩是最好的，尤其精通《三礼》。
张衡学业有成之后，入仕做官，在周武帝身边当个侍从。张衡做事认真，性格直率，敢于谏言。有一次，周武帝在太后服丧期间，想外出打猎。张衡一把抓住周武帝的坐骑，摘掉帽子，披头散发，直言劝谏。周武帝是位明君，接受了谏言，并赏赐给张衡一套衣服、一匹良马。张衡在北周时期不断升迁，担任了掌朝大夫。
杨坚篡周建隋以后，对张衡仍然很器重，升任他为并州总管椽。杨广也很看中张衡，他镇守扬州的时候，请求父亲，把张衡改任为扬州总管椽。从此，张衡跟随杨广左右，相当于他的秘书长，成为杨广的心腹亲信。
张衡尽心竭力地辅佐杨广，杨广夺取太子之位的计谋，大多数是张衡为他策划的。扬州有人聚众造反，张衡又率军平定了叛乱，建立军功。张衡因功升官，并获得大量物质奖赏。
公元604年，隋文帝杨坚病重。在此期间，杨素写给杨广的密信泄露，杨广又调戏宣华夫人，惹得杨坚大怒，想要重新更换太子。在这千钧一发之际，杨广、杨素采取果断措施，派亲信宇文述带兵包围了杨坚寝宫，不准任何人出入，同时，把杨坚身边的侍从全部赶走，只让张衡一人在杨坚身边侍侯。当天晚上，杨坚就死了。张衡在杨坚身边干了些什么，没有人知道。所以，张衡有弑君的重大嫌疑。
野史《大业略记》说，张衡进入杨坚寝宫后，把毒药灌入杨坚口中，杨坚顿时毙命。野史《通历》说得更邪乎，说张衡手持利刃，朝着杨坚一阵猛砍，血溅屏风，杨坚的惨叫声传出很远。《大业略记》和《通历》的说法，不足为凭。不过，张衡是杨广最亲近的人，他为杨广登上帝位立有大功，却是真的。
杨广继位以后，为了报答张衡，升任他为银青光禄大夫，不久又升为御史大夫，成为三公之一。杨广巡视太原的时候，还专门从张衡家乡路过，在他家里住了三天，赐给张衡家良田三十顷、绸帛六百段，还赐给了他许多御用食器。
张衡得此殊荣，光宗耀祖，自然感恩戴德，他伏拜在地，磕头不止。张衡心里暗下决心，一定要尽忠竭力，肝脑涂地，报答皇帝杨广的大恩大德。