改嫁的对象是个乌桓人，开始对他还不错，可后来，他母亲给他生了个弟弟，从此他继父对他轻者辱骂、重责殴打，甚至还想将他卖掉。
也是在他母亲的苦苦哀求下，他才幸免。
他十三岁那年，他母亲也去世了。于是，他便逃出来独自生活。
为了活下去，掏鼠洞、摘野果、挖野菜、捕鱼虾……总之，想尽一切办法填饱肚子。
再后来，他被他继父带着一群乌桓人抓住了，然后卖给了鲜卑人做奴隶。
放羊牧马、砍柴割草……也是在这时候，他学会了骑马，也学会了射箭。
但他始终记得自己是个汉人！
对，是汉人！自始至终，他都认为自己是汉人！
数年以后，他在一次鲜卑人寇边之时，寻了个机会，逃回了汉地。
为了生计，他常以打猎为生，偶尔也帮人干些活计。
经过两三年的努力，他攒了些钱，为自己起了间茅屋，准备娶妻生子——他已看上了里中一户人家的女子。
岂料，就在他准备提亲之时，那女子被一乌桓小帅看上，使计将其掠走。
随后他去护乌桓校尉府告状，反被冤枉杀人而入狱，判处弃市之刑。
今岁朝廷北征鲜卑，诏令他等极刑犯减死一等，发为弛刑士。
刘备没想到这寇破奴的遭遇竟如此坎坷，不由唏嘘不已。
怪不得他一开始性情谨慎、沉默寡言。
随后，刘备也将“他”从小失怙、与寡居的母亲相依为命，后来又以织席贩履为业的经历告诉了寇破奴。
或许是两人从小皆遭受冷眼嘲讽之故，一路上两人竟是相谈甚欢。
到了这时，刘备已经喊寇破奴为“破奴兄”了，“你这‘破奴’之名，是何人所取？”
“俺自己。”或许是勾起了他的某些回忆，寇破奴脸上有些黯然，“俺本无名。偶然的机会，听一戍边老卒讲述起孝武皇帝时赵破奴的事迹，俺便以此为名。”
赵破奴也曾流落匈奴间，后归汉建功封侯。