因为有杨勇的教训，文帝对蜀王的言行再不能掉以轻心，他传旨召杨秀回京，就是要防患于未然。
杨秀对父皇召自己回京的确存着戒心。他虽然不知道杨素的密告，但对自己的所作所为是有数的。他尤其不服气父皇废立太子的做法，总觉得这里面有什么手脚，但一时又找不到真凭实据。越是这样，就越不敢贸然应召回京，因此就故意拖着不动身。直到独孤揩来按任，他知道再也拖不下去了，才带一队人马起程回京。
出了益州，走在路上，杨秀越想越觉得不对。心里在嘀咕：如果留在益州，自己还有点兵力和权力，就算父皇怪罪下来，也还能相持一时。自己单枪匹马地回了京城，万一有什么不测，只有任人宰割。
想到这里，杨秀招呼队伍停了下来，看看已走出了四五十里远，他当即决定调转马头，返回益州。并派了一名士卒骑快马先去打探一下益州的动静。
往回走了没多远，那名士卒风驰电掣般赶了回来，报告说：“益州城门紧闭，城墙上站满了弓弩射手，看似严阵以待。”杨秀最后的希望破灭了，他怀着一线侥幸回到长安。
皇后的大丧已经过了好几天，杨秀还没有听到父皇召见的圣旨，心里更加不安起来。他正想亲自去宫中打听一下，侍卫禀报：尚书左仆射杨素来了。
杨素带来了皇上圣旨：将蜀王杨秀废为庶人，囚禁内侍省，由两名山獠部落女子侍应起居，不得与妻妾子女相见！
杨秀懵了，又气又急地质问杨素：“仆射大人，这是为了什么？”
杨素冷笑一声，将一个布包扔在杨秀脚下，说：“陛下让你自己看！”
杨秀打开布包，只见里面是两个制作精细的木头人，每个都有七、八寸高。木头人的手脚都被绳索镣铐捆绑得结结实实，心窝上各钉了一颗粗长的铁钉。每个木头人的后背上还写着字，杨秀一看那些字，不禁大吃一惊。有两个稍大些的字，分别写的是：杨坚、杨广。还有一行小字，内容一样：“愿西岳慈父圣母收其神魂，如此形状，勿令散荡。”杨秀捧着两个木头人，诧异地问：“这，这是从哪里弄来的？”杨素说：“当然是从华山脚下挖出来的。”
“那又与我何干？”
“陛下得到密报，这两个木人就是你杨秀亲手刻制，又派人埋在华山下面的！你还有什么可狡辩的吗？”
杨秀一下跌坐在地上。他面色苍白，双唇乌青并颤抖着，心里想：完了！自己被人陷害了！
尽管杨秀不知道是谁如此阴毒地陷害自己，他却非常清楚自己完了。蜀王杨秀没有了，他将作为一个“庶人”在囚禁中度过自己的后半生！
对于太子杨广来说，在通向帝位道路上的一道障碍消除了。而且，这极有可能是最后一道障碍。
他感激杨素。
自从独孤皇后去世后，杨坚的身体也一日不如一日，最后竟然也累到了。随后，杨坚便带着众人去了仁寿宫养病。这十一多天来，每到太阳落山的时候，太子杨广就从仁寿宫大宝殿的侧殿出来，身佩短剑，不带侍从，独自在山**上漫步。
因为在这个时刻、在山**上几乎能天天遇到的一个人——宣华夫人。又到了傍晚时分，杨广已经在大宝殿周围的山道上慢慢地走了好几个来回，仍旧没见到宣华夫人的影子，他不免有些怅悯。正要拾级而下，杨广忽然看见大宝殿的正门悄然半开，宣华夫人在两个贴身宫女的陪伴下迈出大殿，款款走上山阴小道。
“嗬！真是好艳丽的山茶花呀！”听到这一声赞叹，宣华夫人抬头寻声看去，是太子杨广站立在前面的山道上，她向杨广施礼，说：“太子，你也出来散步呀！刚才两位姑娘采了一束茶花，我们正商议着带回皇上的御榻旁边，也给大宝殿里增添一些蓬勃的气息。”杨广望着宣华夫人略带苍白的脸颊，不由心中感动，说：“夫人这样时刻惦念着父皇，杨广万分感激崇敬。父皇卧病这么多天，幸亏有夫人忙前忙后，尽心服侍，实在太辛苦你了。”宣华夫人说：“多谢太子关怀，实在不敢当。”杨广发出感叹，“若是父皇无恙，我可以让江南的旧部多送些各色各样的果品来供父皇享用。”
杨广在扬州总管任上十年有余，对江南的风土人情、物产特色了如指掌。宣华夫人原本就是陈国公主，从小生活在江南，对家乡怀着深厚的眷恋之情。此时听太子说起江南物产，也来了兴致，两个人的交谈就越发投机了。过了很久，二人才各自道别回宫。
时光一天天过去，这一天，他又读得累了，随手将书卷抛在桌上，站起身在殿内走了几步，又来到窗前，轻轻推开窗扇，向外面的远处望去。大隋兴国已二十四年，而今国家太平无患，百姓安居乐业，人物殷阜，朝野欢歌，是历朝历代少有的景象。立为太子后，杨广曾恳求太子的车马服饰用品皆降低一级配给，父皇欣然允准。杨广本以为不过是暂时做做样子罢了，很快就会恢复到原来。没想到却沿袭至今，真是有苦说不出。