官职虽然没有了，但朝廷多少还能勉强支点两个人的生活开支。
忽然有一天，想起了家里的那四本书，于是就一个人背诵了起来，还不错，虽然过去了这么多年了，自己还能一字不差地背下来，但虽然能背下来，而内面的内容还有许多地方不有吃透，理解起来不得要领，也难得有这份清闲，就一边背诵，一边理解。为官之道，名利欲多，烦事越多，不为名，不为利，无所不能，无所不及。
有一天已经到了更时，吴方琪和德贤都已经睡觉了，突然有人来敲门，德贤起了床开门一看，有一人到来了小别院里，德贤刚想开口问，吴方琪从房间里走了出来，一看是大内太监总管来到了小别院，一下子就跪到在地“您老人家，这么早还要出来，不要累着了身子。”
“方琪，你好自在啊，拿着奉禄天天在这里赏花弄月，填词作赋，语声朗朗，恐怕我们大明的所有的官员唯有你一人有如此的清闲。从山西太原回来的时候瘦骨伶仃，一个多月的时间又变得白白净净了。”
“您老，没有宣旨不是不让我离开这里吗，那我只有这样天天在这小院里，自寻作乐，其他也没有什么本事，只有看看书了。”
“方琪你知道这一个多月的时间，有多少弹劾你的奏本吗，云南三司说你与大理王府、土司串通一气，破坏大明的改土归流的国策，害得他们现在寸步难行，改土归流国策在云南已经难以推行下去了。你到山西的这几个月时间，山西又来了奏本，弹劾你到了山西只办了三天的公事，总督衙门的大门始终关着，整天就知道游山玩水，严重失职。这一年多的时间来，弹劾你的奏本已经很高一叠了，正统皇帝英明，把所有的弹劾你的奏本压着不发，你要知道皇上也有难处。不能因为保你一人而凉了众大臣们的心，皇上也有身不由已的时候。”
“那皇上想要怎么处理我，要不让我辞官回家吧，再也不走科举之路了，无官无职，想到那里就去那里，这应该可以吧。”
“那有这么容易，走上了这条路，就没有这么容易了，你已经是皇上的人了。你不知道有人奏本皇上要处罚你，不仅是削职为庶民，而且要问罪，充军宁固塔。你知道勾结土司造反是什么罪吗，想得这么简单，真是太年青了。”大内太监总管面无表情地对吴方琪说。
“有这种事情吗，我取个云南山寨的姑娘就勾结土司，就造反了吗，大理段王爷也是一个堂堂正正的人，更何况我与大理段王爷也没有私底下的往来，欲加之罪，欲加之罪啊。”吴方琪竭力申辩。
“你知道官场上的事情有多少复杂吗，不过这样也好，不经历风雨，见不到彩虹。说起来也怪你太顺利了，宣德帝对你太宠爱了，一上任就是三品大员，宣德帝对你期望也太高了，云南承宣布政使司有这么好当得啊，你一上任就四面楚歌了，更何况云南的改土归流有这么好推行的吗，国策那是百年大计啊，让你去那是个火焰山啊。我这些时间在想，这样可能对你以后的官场生涯有好处，多经历一些事情，经验会更丰富一些。”大内太监总管语重心长地对吴方琪说。