杨广当上皇太子以后，知道杨秀心中不服，日后必为祸患，于是让杨素暗中察访他的过失，收集罪证。杨秀确实有不少奢靡之事和不法行为，被杨素抓住许多把柄。杨素向皇帝禀报，杨坚决定依法处理。
杨坚把杨秀召回朝廷，要治他的罪。杨广假惺惺地流泪为弟弟求情。杨坚说：“往日秦王杨俊骄淫奢华，朕依法处置，没想到杨秀不以为戒，反而比杨俊更甚，决不能宽恕他。”
大臣庆整劝谏说：“杨勇已被废黜，杨俊已经去世，陛下的儿子不多了，何必如此重罚？蜀王生性耿直，如被严惩，恐怕不能保全，望陛下三思”。杨坚大怒，要割庆整的舌头，吓得庆整不敢吭声了。
杨广痛恨杨秀，一心要置他于死地，于是设了一个狠毒的计策，来陷害杨秀。杨广暗中令人制作了两个木偶人，分别写上杨坚、杨谅的名字，丝绳束手，铁钉穿心，埋在华山下面，然后再让杨素装模作样地挖出来。杨广又冒充杨秀的名义，写了一篇“檄文”，咒骂皇帝。
杨素将这些“罪状”奏报皇帝，杨坚见了，怒不可遏，下诏责骂杨秀，说他包藏祸心，图谋不轨，是叛逆之臣和不孝之子，列举了杨秀十项大罪，痛骂他灭天理，逆人伦，有豺狼之心，坏到了极点。
杨坚毕竟念及父子之情，没有杀杨秀，但剥夺了杨秀一切官职和爵位，贬为庶民，并且将他囚禁起来，不得与妻子儿女相见。杨坚迁怒于杨秀的属官，受牵连获罪的有一百多人。
杨秀遭贬，又被囚禁，愤懑不已，但没有办法，只好上表谢罪说：“我因为幸运，成为皇子，九岁就得到了荣华富贵。可我愚笨，不知道珍惜，触犯了国法，辜负了父母大恩。如今福分已尽，情愿以死谢罪。恳请父皇怜悯，死前能让我与儿子见上一面，然后再赐我一个墓穴，让我的尸骨有个去处。”
这个时候，独孤皇后已经死了，没有人再关心杨秀了。杨秀被囚禁起来，失去了自由，身边只有两个又丑又凶的婢女。杨秀度日如年。
杨坚死后，杨广当了皇帝。因为杨秀已经构不成威胁了，杨广没有杀他，但继续进行禁锢，对他严加看管。杨秀后来被宇文化及所杀，活了四十六岁。
杨坚最小的儿子杨谅，从小被父母娇惯坏了，为所欲为，后来竟然起兵造反，自然没有好下场。