不少大臣们上书劝正德尽早回京，他一概置之不理。我受扬州太守蒋瑶之托，和他一起喝酒的时候，乘机劝他回去。也许是言语直接了当，也许是喝了酒，我也是上了头，说这琼花乃是不祥之物，当年隋炀帝看了琼花，天下大乱，以至于隋朝灭亡，难道正德也想步隋炀帝后尘吗？此番话一出，在场的人都是大吃一惊，正德更是愤怒得像小狮子一样，摔了酒杯，眼睛大大的，盯着我，下旨免去我一切职务，随即甩袖而去。
我更是生气，直接搬离住所，不再和正德住在一起，回到太湖边上的烟波山庄。
第二天酒醒了，却得知正德已经带领大队人马离开了扬州，浩浩荡荡回奔京城了。我又高兴又失落，我该去哪里？
未等我想多久，正德已经派人来传旨，命我官复原职，罚俸一年，暂住扬州，处理江南事宜。呵呵，看来这小子即离不开我，又想给我一些教训，也罢，江南战火大半年，确实需要整顿。但我对于治理确实不在行，便委托各州府太守，自行恢复，如有需要，可找我汇报。江南各州县迅速忙碌起来，而我则懒散地领着几个锦衣卫兄弟，住在太湖边上的烟波山庄，每日都慢悠悠在太湖边闲逛，一些生意则由江离、白芷打理。京城锦衣卫的事务，我暂时放下，交给京城的锦衣卫同知包小柏负责，南京锦衣卫与宁王有交集，我想来想去，还是没有派人过去整顿。算了，大是大非面前，有几个人能够真正清醒呀？经历了太多生死考验，我明白，我依旧是小人物，根本改变不了什么，唯一能做的，就是让我身边的人，过得好些。
看着江南的冬雪纷飞，继而春暖花开，转眼便是三月的草长莺飞了。我每天不是游山玩水，就是喝茶下棋，偶尔去湖边钓鱼，却又一时手痒，拿出飞石打鸟的本事，只是打出的时候，又不愿杀生，任那石子打在树干上，惹得周围的人一阵哄笑，我明白我是在装，刻意在众人面前显得轻松自在，似乎在淡忘往日的紧张。平定宁王之乱时，我收集了许多书籍，想着自己有空看看，只可惜我多年未读书的习惯已经养成，再也静不下心来读书。我在江南各州府有不少产业，无论家里的，还是我多年弄来的，总得派江离或白芷时常去查看，二人又是懂事，经常回来看我，瞧我虽然脸圆了许多，但神情却又有些郁郁寡欢，便想方设法弄些花样来逗我开心，她们从十三四岁便跟随了我，一晃十年，对我可谓精心照顾，可我虽然感激，但我的心思却又在遥远的塞外，以及京城了。
扬州太守蒋瑶经常过来看我，一改几个月前对正德皇帝的不卑不亢，对我十分客气。这位太守大人很了不起，敢于直面回敬正德的顽皮和那位跋扈将军江彬的勒索，我帮过他几次，所以他对我还是另眼看待，只是他常来看望，让我不得不多想，除了官面上的事情谈过，剩下的就是默不作声的相待。我发现读书人最大的优点，就是能沉下心来看书。蒋太守几乎把我这里的书看了个遍，和我说话却少了许多。我常想他是在撵我走吧，有些送客的话不好说，所以常在你面前殷勤，大抵我这么大的人物，盘恒在扬州不走，地方官员也有压力吧。
而我不愿走，心中一直在等着。也许是等正德的召唤，也许在等着别人的归来。我不忍爱民如子的蒋太守总来见我，便让郭正拿出一百万两银票，说是正德皇帝给扬州子民的赏赐，他在这里闹腾了三个月，扬州百姓苦不堪言，过后于心不忍，让我拿些银两，补偿一下扬州。