但是以皇后和太子为首的一派坚决咬住纪纲的过失不放松，
最后老皇上无奈，剥夺了纪纲兵部尚书之职，
发配到一个边远小县做了知县，这件事才算告一段落。
三皇子带着文臣武将放弃孟州去归州准备建立大晏国的时候，
三皇子曾秘密写信给纪纲，叮嘱他接到信后立即带着全家赶往归州，从此便彻底脱离大夏国了。
王妃纪羡鱼也给母亲写了亲笔信，叮嘱母亲接到信后一刻不要停留，立即来归州与自己汇合。
纪纲和纪夫人接到书信后，两人合计了一下，原本也是同意立即起身去归州的。
但是纪纲有一个侧室，姓李，这李氏在纪府里很是有些体面，
而且她也给纪纲生了一子一女，虽然只是庶出，
但这双儿女很得纪纲喜爱，因此纪纲对李氏也是言听计从。
纪纲接到三皇子的书信之后，便偷偷吩咐纪夫人以及李氏赶紧收拾东西，这几日他们便启程去归州。
李氏听了思索很久，她觉得她不能去归州，
到了那里，自己的处境可能会有些危险，
三皇子在归州称帝，纪羡鱼也就成了名正言顺的皇后，
自己带着儿女去他们那里，那不是要日日跪拜纪羡鱼吗？
还有纪夫人，这么多年因为自己的存在，没少让她过窝心日子，
一旦去了归州，到了她女儿的一亩三分地，能有自己的好？
她思来想去，决定不去归州，而且还得把纪纲也留下。
于是当纪纲问他为什么还不收拾东西准备启程的时候，她佯装关心的对纪纲讲:
“老爷，如果我们去了归州，虽然府里这些人都跟着去，可是这一走，不就真成了乱臣贼子了吗？
那么我纪家其他远房的叔伯子侄呢？是不是都得被朝廷问斩？