当时，杨素只以为杨勇性情暴戾，借机发泄牢骚，回来后也确实没敢告知文帝。而今天看来，这件事实在是杨勇谋逆已久的一条罪状。
这条罪状确实不轻，像是一把重锤狠狠击打在文帝心上，让他憋闷得难受，不由得发出一声长长的喘息。
杨素抬眼看看文帝的脸色，冷峻而又压抑，他觉得是时候了，就说：“陛下，既然当今太子已不堪承嗣，废立大计应早下决心，不可再犹豫了。”
文帝点头称许，说：“爱卿所言正合朕意。依爱卿之见，罢黜太子之后，另立哪位藩王为新储最合适？”
杨素毫不犹豫地答道：“当然是晋王杨广！”
立时，文帝高兴得眉眼舒展，开心地笑了：“好！爱卿好眼力，与朕不谋而合。这真是知朕者莫如越国公啊！”
杨素谦卑地躬躬身子，说：“蒙陛下错爱，社稷朝野之中不独杨素有此见地，应当是众望所归！”
文帝收敛起笑意，说：“黜旧立新，事关国家百年大计，一旦宣诏，要让群臣百姓心服。因此，还需爱卿细细筹划一下，自然是越快越好！”
杨素起身应诺：“请陛下放心就是了。”
杨素心里明白，皇上要他尽快地多搜取一些杨勇忤逆不孝、图谋不轨的证据。只要有了足够的证据，废掉杨勇不过是写一道诏书的事。
杨素自宫中出来，顿觉一身轻松。回到家里，他立即差人把杨约找来。事已至此，再往下就需紧锣密鼓了。
杨素对杨约讲了面见皇上直言废立太子的经过，随后向他请教用什么办法可以搜取到杨勇谋逆的证据。
杨约说：“这事容易。东宫的属官中我认识一个叫姬威的，跟杨勇比较亲近。我给他送点金银，再晓以利害，十有八九他会帮这个忙。”
姬威是个胆小怕事又爱财如命的人。他手里捧着杨约送的金银，又听杨约说，太子的许多罪过已为陛下洞察，家兄已奉密沼，一定要废黜杨勇。若在此时立功，助陛下一臂之力，日后必将大富大贵。姬威没怎么犹豫，便答应暗中搜集杨勇的不轨言行，并且尽快上书皇上。
开皇二十年的夏天转眼又过去了，在仁寿官避暑的文帝已经在准备驾返长安。
这个夏天，文帝过得算不上平稳宁静，有让他伤感忧愤的事，也有让他高兴舒心的事，更有让他时时牵挂而坐卧不安的事。
让他伤感忧愤的，就是自己的三儿子、秦王杨俊死了。
随着年纪的增长，文帝常常回想起几个儿子小时候的情景。三儿子杨俊自幼很得父母的喜受，他生性仁爱宽厚，总以善心待人。或许是受父亲的濡染，身为秦王的杨俊曾经一心向佛，几次想出家为僧，文帝坚决不允。杨广任扬州总管之后，文帝委他做了并州总管。也是自并州开始，杨俊的骄奢淫逸之风渐长。他不仅多次违犯规制，大修官室，更沉溺于女色，甚至常常去青楼嫖妓。秦王妃崔氏是个手段狠辣的女人，她见杨俊整天与别的女人寻欢作乐，既无奈又忌恨，一气之下就在饭菜中下了毒药。合当杨俊命大，吃了那些饭菜之后没被毒死，却从此落下了疾病。这事闹得昏天黑地、沸沸扬扬，文帝龙颜大怒，下诏免去杨俊并州总管一职，只留秦王爵位征回长安闲居；将崔妃废为庶人，赐死家中。
杨俊被免官回府养病，但因毒性渗入体内深处，再加上心里悔愧懊恼，病情一天比一天加重，强捱了不到两年，终于在这个夏天的七月里死去了。
文帝听到杨俊的死讯时，心里说不出是悲是恨。这是他的亲儿子，是他亲自封立的秦王啊！他登基后的第三天册立了皇后和太子，此后第十天，便将其余四个儿子分封藩王。二十年前的那些场景，至今仍历历在目，记忆犹新。一个好端端的孩子，怎么会随着岁月流逝、年龄增长，就变得如此不堪，落得这般下场！他百思不得其解。
让文帝高兴舒心的，就是那位宣华夫人，是宣华夫人在这个夏天里陪伴得他高兴，侍奉得他舒心。这些高兴和舒心里面还包含着感激一一文帝感激的是独孤皇后的宽容独孤皇后是夏至那天到的仁寿宫，刚过三伏就走了。她说自己身体虚弱，受不了岐山里阴凉的山风，还是回长安城自己的后宫里舒服。这是实情。独孤皇后虽然才五十岁，精神与体力就已明显地衰老了，身体一天不如一天。一年当中总要闹几场病，每病一次，精气神都虚亏得厉害，好久不得复原。