那我们岂不成了纪氏一族的罪人？待百年以后，我们有何脸面去见列祖列宗？
而且到了归州，一切都得听三皇子的，我们纪家从此寄人篱下了？
在大夏国，您是朝廷二品大员，虽然现在被处罚，但陛下早晚还不是得召你回京吗？
而且三皇子和王妃造反，按律皇上也不会治您的罪，因为羡鱼是出嫁女，而且嫁入的是皇族，
如果皇上治您的罪，那么他自己不是更有罪？
所以，妾身觉得，我们还是待在这里，继续做知县比较稳妥，
等皇上发现老爷如此忠诚，岂有不召老爷回京的道理？”
李氏一番话，说的纪纲，心潮翻涌，思绪万千。
最后他果然听从了李氏的话，决定不走了。
当他通知纪夫人不走了时，纪夫人便知道，一定是李氏又吹了枕头风了。
但纪夫人知道，一旦三皇子宣布建国，他们整个纪府便是叛臣家属，皇上岂有不治罪的道理？
纪夫人因此将自己的担心说给纪纲听，怎奈纪纲已经被李氏那句:
“皇上见老爷如此忠心，一定会召老爷回京并官复原职。”的话所诱惑，因此无论夫人怎么劝，他也不同意去归州了。
他相信李氏，也相信皇上，更相信自己有别人不可替代的能力，
因此他反而斥责夫人见识短，远不如姨娘有胆量有见识。
纪夫人一见自己劝不住纪纲，也不勉强他，只说自己带着嫡子以及一部分仆人走。
于是纪夫人带着属于自己的东西，丫鬟嬷嬷小厮等都亲自问过，愿意跟着她的一起走，愿意跟着老爷的留在这里。
大部分下人选择了夫人，也有一小部分下人选择留在老爷身边。
纪夫人到了归州后，纪羡鱼已经给他们买好了宅院，
而且一应俱全，纪夫人立即住了进去，从此留在归州。
但纪纲却留在了小县城，三皇子独立后，皇上果然没有来治纪纲的罪，但也没有宣他回京复职。