唐野也觉得九江不可守，又听闻隋军攻破彭泽县的消息，遂同意了林士弘的南下之策。
林士弘在九江大肆搜刮一番之后，带着九千余人一路南下，大军经建昌县转道鄱阳（治今江西省鄱阳县东北古县渡）。
林士弘本准备前往鄱阳郡，招抚操家，可还没赶到，便遇到惶惶然南逃的操天成，这时他才得到消息，从宣城郡来的隋军突袭鄱阳，操天成不备，将鄱阳郡给丢了。
林士弘大惊失色。鄱阳可不同其他地方，这里是操师乞和林士弘的老家，整个楚军内部，其高级将领多是鄱阳人。
而且林士弘准备前往临川，今鄱阳丢失，临川空门大开，亦不可保矣。
林士弘此时已经不敢再往临川郡了，谁知道半路会不会遇到隋军。
四面八方，俱是敌人，林士弘感觉天都要塌了一半，有些不知所措。平日里身边还有一个王戎可以咨询，可现在连王戎也没了。
林士弘一夜没睡，到了第二日天明，他决定召回逃往余干县的林震，立刻攻打豫章城。
豫章从两汉时期就一直是江州诸郡的首府，其地位就像长沙之于荆南，成都之于巴蜀，山阴之于浙东，番禺之于岭南一般，政治意义重大。
只有夺回豫章城，他才能重新号令江州诸郡，然后和萧铣谈判，联合萧铣，抵挡大隋。
很快林震给林士弘带来了一万多的军队，让林士弘的实力大增。
之前林震兵败豫章，并不是实力不济，而是因为张善安的反水，导致城中混乱。张善安又放火烧城，林震心中惶恐，不清楚梁军实力，这才冒失地作出了放弃豫章的决定。
林震到达余干县之后，收拢军队，实力并未损失太大。
林士弘结合唐野、操天成、林震三部，手中兵力约有三万人，眼看犹有一战之力，遂率军向豫章城挺进。
这个时候，也没人在意林士弘在淮南兵败，孤身南逃的事情了，所有人都很清楚，若是打不下豫章郡，他们将再次成为一群盗匪，彻底丧失现在的身份和地位。
淮南的事已经不重要了。
三军很快进抵豫章城下。
苏胡儿是个武夫，还是个没多大见识的武夫。他占领豫章城，就跟老鼠调到米缸里一般，立刻就霍霍开了。
再加上之前张善安火烧豫章城，好好一个大城，被二人弄得乌烟瘴气，满目疮痍，生灵涂炭。
城中百姓被侵扰的不厌其烦，这时候反而尽思念起林士弘来。豫章城毕竟是林士弘经营多时的老巢，他还有些人心的。
林士弘兵临城下，很快联络城中一些大户，打开了城门，遂杀入城去。