独孤皇后拿杨勇与杨广相比，越来越觉得这个儿子不好，比杨广差远了。杨广看出了母亲态度，心生奸计，向母亲哭诉说：“哥哥想害我”。独孤皇后大怒，说：“他害死了妻子，又想害自己的弟弟，如此邪恶之人，怎能继承大统？”
从此，独孤皇后产生了废黜太子的想法，她多次在杨坚面前批评杨勇的过失，而极力赞扬杨广。杨广在平定江南、征服突厥过程中立有大功，在朝中很有威望。渐渐地，杨坚也喜欢杨广了。
独孤皇后铁了心，要废黜杨勇，让杨广上台。为此，她与大臣杨素联手，送给杨素许多金子，让杨素四处活动。朝廷重臣高颎，原本与独孤氏关系很好，但他与杨勇是亲家，极力反对废黜杨勇。独孤皇后不顾多年情谊，多次挑唆杨坚，最终将高颎免职罢官，清除了这个障碍。
杨勇当太子已经二十多年了，与百官联系密切。逢年过节的时候，百官朝觐皇帝之后，又按照惯例，到东宫朝拜太子。杨坚却不高兴了，下诏说：“太子虽然位居皇嗣，但仍然还是臣子，朝拜东宫之事，应全部停止”。许多人都看出来了，太子杨勇的处境不妙。
杨勇自然也察觉到了，但他无计可施，每天忧愁恐惧。杨勇在后园建了一座低矮简陋的小屋，时常住在里面，布衣草垫，希望能借此阻挡恶运。杨勇平时很少出宫，也不与大臣们来往，以免引起杨坚的怀疑，一心只求自保。
杨坚知道杨勇心中不安，便派杨素去东宫，探听杨勇在干什么。杨素派人向杨勇通报，杨勇知道杨素的份量，听说他要来，十分重视，早早就穿戴整齐，在客厅等侯。
杨素到了东宫，却在外面徘徊，就是不进去，他在故意拖延时间，以便激怒杨勇，让杨勇发火失态。果然，杨勇干等了一上午，等得心焦，见了杨素之后，自然态度不会很好。这正是杨素想要的效果。
杨素回报杨坚，加油添醋说，太子在东宫大发雷霆，口出怨言，发泄不满，建议杨坚加强戒备，小心提防，防止太子作乱。杨坚大怒，终于下决心废黜了杨勇，让杨广取而代之。
太子杨勇被废之后，觉得自己冤枉，十分委屈，多次请求面见父亲。可是，杨广、杨素已经派兵围住了东宫，严密封锁消息。杨勇不甘心，爬到一棵大树上，高声大喊，希望能够引起皇帝注意。杨素却对杨坚说：“杨勇已经疯了”。于是，杨坚始终没有再见杨勇。
杨坚病重的时候，得知杨广淫乱宫闱，捶床后悔道：“独孤皇后误我，错废了杨勇儿”。杨坚想派人召见杨勇，但已经身不由已了。
杨坚死后，杨广立即派人杀害了杨勇。杨勇有十个儿子，多数也被杨广杀害。杨勇死时不到四十岁。
在杨坚的儿子中，最阴险的是次子杨广，杨广就是著名的隋炀帝。