遭贬的四子杨秀
在杨坚和独孤皇后的五个儿子当中，四子杨秀性情暴烈，奢靡骄纵，妄行不法，又遭到杨广陷害，结果被剥夺官爵，贬为庶人。
《隋书》记载，杨秀比杨俊小两岁，比杨广小四岁。杨坚称帝时，封杨秀为赵王。杨秀先后担任柱国、益州刺史、内史令、右领军、大将军等职，当然也是挂名的。
杨秀长大以后，身材魁伟，长丰髯额，性情刚烈，武艺高强，勇猛过人，朝臣都惧怕他。
后来，杨坚改封十九岁的杨秀为蜀王，命他镇守益州，治理蜀地。蜀地离京师遥远，地广人众，位置重要。杨坚怕儿子难担大任，专门挑选了朝廷重臣、时任兵部尚书的元岩，去当益州长史，辅佐杨秀。
杨坚对元岩说：“以你的人品和才能，治理蜀地并不困难，但蜀王是个不羁青年，辅佐他并不容易。希望你尽心尽力，像曹参辅佐齐王那样”。元岩知道，这是皇帝对自己的信任和重托，于是欣然领命。
元岩威严耿直，通晓世事，杨秀对他很敬畏，能够克制自己，按法度办事。在元岩辅佐下，蜀地法令严明，秩序稳定，百姓安居乐业。不料，时间不长，元岩患病去世，杨秀便开始为所欲为起来。
杨秀喜欢奢侈浮华，追求享乐。他斥巨资修建了豪华的王府，衣食用具都十分讲究。杨秀执法严苛，多杀无辜，剥削百姓，聚敛财物，民众苦不堪言。
杨秀不仅肆意放纵，而且还有野心。他违犯制度，超越规格，车马服饰，均比照天子样式。太子杨勇被废之后，杨广取而代之，杨秀对此十分不满，时常口出怨言。杨广知道以后，对他怀恨在心。
杨秀想扩大自己的势力，上书朝廷，请求扩充军队，增加官佐，可杨坚不予批准。西部边境出现战事，朝廷派兵征讨，杨秀想推荐自己的亲信统兵，杨坚也不同意。
杨坚常对独孤皇后说：“秀儿不甘居于人下，肯定没有好结果。我在世，自当不用担心；我死后，他必定会造反。”于是，杨坚逐步削夺了杨秀的权力，以限制他的势力。