于是辅公祏一甩袖子说道：“你一个妇道人家懂什么，我不与你言，等总管返回历阳，我们只有计较。”
说完便不欲与单氏言，拂袖而去。
单氏想追上去，为却辅公祏的亲卫拦住。
单氏也知道辅公祏这是铁了心要做皇帝，谁也劝不动了。她又想起了自己的丈夫，一旦黄维扬知道她跟着辅公祏在历阳造反，怕是生死难料。
单氏无比后悔自己猪油蒙了心，听信了辅公祏的话，但事已至此，大错铸成，怕是无可挽回了。
单氏返回府上之后，辅公祏便让人将其囚禁起来。
辅公祏虽然要称帝，但是很清楚单氏在杜伏威旧部中的影响力。一旦单氏出来，四面搞事，会让他极其的被动。
至于囚禁单氏会不会引起人们的不满，辅公祏则顾不得那么多了。
而单氏被辅公祏囚禁之后，对其完全丧失了希望，于是便偷偷派人前往湓城，去联络杜伏威。
对于单氏来说，这件事还不算完。
单氏又秘密联系杜伏威的旧部、亲信中心向单氏的，准备向辅公祏发难。
杜伏威有义子三十余人，除了阚棱、王雄诞二人，其余人虽然不知名，但在杜伏威一系中，不少人还留在历阳，身居要职。
历阳郡尉府功曹孙安便是其中之一。
孙安因为是历阳军界的三把手，实力不凡，也是一众在历阳的义兄弟中的领头羊。
单氏秘密联系孙安，请求孙安率领他联络的势力，推翻辅公祏。
单氏很清楚，非得在隋军到来之前，覆灭这场叛乱，她和杜伏威才有生机。
孙安对这个义母表现的很忠心，满口应允，还积极联络自己的义兄弟，一起动手。但离开之后，孙安立刻将此事告知了辅公祏。
孙安实际上早就已经倒向了辅公祏。
其实也是单氏少经政事，不太懂军政事务，这才错信了孙安。功曹本就有监察之权，辅公祏能和西门君仪能造反成功，万瞒不住孙安这个历阳军界三号人物。
所以三人关系，肯定不同寻常。
而辅公祏虽然忌惮单氏，但也不会对其放在心上。