在宇文述、张衡、杨约的运作下，杨素与杨广暗地里达成了倒太子联盟。
杨广找个借口，派宇文述亲赴长安城一趟，通过杨约给杨素送去大量金银财宝。
杨素是个果敢、守信之人。他一旦作出决定，为达目标便非常勤恳地做事。
只要机会合适，他就在皇帝、皇后面前“反馈”大臣们的议论：太子杨勇如何不堪大任，晋王杨广如何孝悌恭俭四项全能……等等。
晋王府参军段达是姑藏（武威）人，与太子东宫右卫率姬威是老乡、熟人。
杨广批给段达大把经费，买通了姬威。太子所有行踪，晋王清清楚楚。
当年韩擒虎攻破建康皇宫时，按杨广指令将陈氏皇族女眷单独保护起来，等待杨广接收。
杨广按惯例挑选一批长相绝色的女子，带回长安交给母后处置。
其中有位才色俱佳的女子，乃陈宣帝之女、陈后主之妹，被杨坚封为宣华夫人。
杨广通过宫中嬷嬷，把宣华夫人发展成为宫闱眼线。
……
独孤皇后有意发起，晋王杨广热切迎合，重臣杨素用心推动，许多大臣配合……
加上太子杨勇后知后觉、挽救措施很不得力……
杨勇的太子之位已是岌岌可危。
首宰高颎本来是杨勇的最大助力。
可是，高颎与杨勇结成了儿女亲家，杨勇随后又娶了高颎之女为侧妃。这样一来，高颎向皇帝死谏力保太子，反而显得是出于私心，不够说服力。
皇帝杨坚开始部署废储重立之事。
杨坚当初册封嫡长子杨勇为太子后，为了将来国祚稳定，此后的人事安排中，文臣武将的第二梯队人选，都是以太子为中心来挑选的。
现在，杨坚要废掉杨勇的太子之位、重新挑选国之储君，朝廷官员也得大洗牌。
这事的涉及面太广了，可不是一件简单的事。
杨坚只能一步一步慢慢来。
……
重立储君，次子杨广是不二人选。
——皇帝杨坚首先与皇后独孤伽萝在这点上达成一致。
尚书右仆射杨素，就是为了换掉太子杨勇，才提拔他上来牵制高颎。
——剪除现太子杨勇羽翼的工作，必须交给杨素去落实执行。
对太子党中掌握兵权的将领，得优先解职、甚至铲除。
——这是保证换太子事宜损失最小的必须手段。
皇帝下定决心、有了方案后，随后几年，隋国朝野陆续发生一些大事：
597年，上柱国、右卫大将军虞庆则因谋反罪被处死。家人被株连。
同年，东宫千牛备身、太子贴身侍卫刘居士案爆发。太子府被牵连的属官达二十几人，全部被杀。
598年，负责东宫安全的禁卫军首领、太子亲卫苏孝慈等人被清洗。
599年，上柱国、凉州总管王世积案爆发。家属被株连。
受王世积案牵连，首宰高颎被免除上柱国、尚书左仆射之职。不久后被削去齐国公爵位，黜为平民。
杨素以上柱国、尚书右仆射身份成为首宰。翌年，杨素升尚书左仆射。
公元600年10月，太子杨素及儿子们被废为庶人。
杨勇被移出东宫，软禁于内史省，享受五品官员俸禄待遇。
11月，晋王杨广被册封为新太子。
张衡担任太子左庶子，文职一把手；杨约担任太子右庶子，文职二把手；
宇文述担任太子左卫率，禁卫军首领。段达担任左卫副率。
