既然戎州、泸州已失，尽在迟尺的嘉州亦不可守。虽然嘉州地处高山和丘陵交界，但龙游城周边，尽是低矮的丘陵，较为平坦。南面的明军逆岷江而上，北面的明军穷追不舍，一旦双方从南北两个方向合围嘉州，他逃都逃不出。
为今之计，只有撤往雅州，再作计划。
雅州四面环山，地势险峻。李世民可以只用少数的兵马，就能挡住明军的进攻。而且雅州向西可进入西羌，向南可走孙水（今安宁河）河谷，到达南宁州。
虽然不好走，但终归是一条路。
听到李世民的命令，众人有些茫然，甚至包括于志宁等南逃的坚定者，也不知道李唐的路究竟在何方。
难道就这么一路逃下去？
可是众人已经走了这么久，放弃了在巴蜀的一切，谁也没有勇气，再走回头路。
十二月十一日，李世民到达龙游县城的第二日，便率领全军，撤往雅州。因为李世民担心明军追来，所以一天也不敢多耽搁。
这次撤退，因为撤的匆忙，大件的物品几乎全被丢掉。虽然可惜，但对于李世民来说，都是无可奈何的事情。
现在李世民最缺的就是时间，他甚至担心老师的布置还会在什么时候跳出来，给自己当头一棒。
李世民在嘉州差不多有近三万人，除了他从白马关带出来的一万多人，还有张士贵、丘行恭部，以及嘉州、眉州的驻军。
三万人马，看似很多，但这将会是李世民除了雅州驻军外，仅剩下的一支部队了。每消耗一分，都得不到补充。
从龙游到雅州治所严道城（今四川省雅安市），差不多二百余里，沿着青衣水可逆流而上。从龙游到夹江这一段较为平坦，但从夹江往上，一路都是高山峡谷，倒是可以帮着他们防御明军的骑兵。
从龙游这一段到夹江，大道在青衣水的北岸。
李世民担心明军阻击，遂渡过青衣水，从难行的南岸前进。
果不出李世民的预料，明军的轻骑部队突进的很迅速，在李世民西进的过程中，遭遇了数股规模较大的明军骑兵，皆因为背山面江，幸免于难。
很快巴彦所部的骑兵越来越多。
李世民知道，步兵在长途行军中被骑兵尾随是个很可怕的事情，他已经吃了不止一次的亏。之前在平原上没办法，但现在青衣水两岸地形复杂，正好可以趁机砍一下这个尾巴。
于是李世民让张士贵带着前军伪装成三军的样子，继续向前。而李世民则率领一部分精锐部队，悄悄藏在青衣水南岸的山中。
很快巴彦率领右屯卫两营骑兵赶到龙游县城，眼看唐军西逃，便渡过河去追击。
明军骑兵赶到苏稽戍（今四川省乐山市市中区苏稽镇）。