晋王杨广一直觊觎太子宝位。得知父皇、母后对杨勇猜阻之意已生，更加矫饰伪装，平日只和正妻萧妃住在一起，后庭有宫人怀孕，都把胎儿打掉，以免外人知晓，独孤皇后因此十分喜爱杨广的“忠贞不二”。当晋王时的杨广十分谦虚自抑，史载：“晋王(杨)广美姿仪，性敏慧，沉深严重;好学，善属文，敬接朝士，礼极卑屈;由是声名籍甚，冠于诸王。”依此，青年时代的杨广真是一个有华有实的美男子。一次与军队观猎遇上大雨，左右进上雨衣，杨广说：“士兵们都淋得透湿，干吗我自己一个人要穿雨衣呢。”命左右拿走，仍冒大雨立马观览，将士们感动得一塌糊涂。文帝有一次去他家里观瞧，早有准备的杨广随文皇四处查看，只见殿内乐器灰尘满布，绞弦断绝，一看就知多久不用，老皇帝就认定三儿子不好声妓歌舞，是“又红又专”的好苗子，和那位连铠甲都以金玉装饰的太子杨勇形成鲜明对比。
杨广暗中派遣和他关系亲密的大臣宇文述、杨素等人在杨坚夫妇面前百般构毁太子杨勇。太子本性直率，不知矫饰，容易发怒，形于言表，隋文帝渐有废杨勇之意。
杨广当上杨州总管后，借入朝还镇的机会与母后独孤氏道别，装出十分依依不舍、万分可怜的样子，伏地流泪不止。独孤后也泣然涕下。杨广趁此机会大倒“苦水”：“儿臣非常看重兄弟情谊，不知哪里得罪太子，一直想杀掉我。每想到我自己不知哪天被毒死害死，真是恐惧得不得了。”
独孤后闻言大怒：“杨勇太过分，我给他娶的元妃他一点也不爱念，专宠云妃，还下毒毒死元妃(其实是心脏病发而亡)。我现在活着他还这样对待你，哪天我死了我不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖精拜跪称臣，为娘我真是心如刀绞!”杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。
由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，杨素等大臣也推波助澜，加之杨勇在冬至于太子宫中张乐接受百官朝贺，犯了大忌，老皇上最终也决定废嫡。
公元600年，冬十月，杨坚派人召杨勇入殿。心力交瘁的太子闻命大惊，问使者：“不是要杀掉我吧?”进宫后，发现父皇戎服陈兵，百官肃立。杨坚开金口，废掉太子杨勇，押回东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。
一番苦心，终未白废，杨广终于由晋王成为皇储。杨勇当庭被废，“泣下沾襟”，只言自己罪过，拜辞而去，竟无一言反讦二弟杨广，由此，可见杨勇仍是一个宽仁忠厚之人。反观李世民太子李承乾，被废后鱼死网破，死咬四弟李泰，最终两人同归于尽，才得懦弱的高宗李治成为皇太子。可以推论，假如杨勇继位，隋朝不至于二世而亡。
