可这时，主路军的攻势却陷入停顿。邱昌道率兵七千连续攻打衢州府城十余次，均被城中守将率领城中的清军和民壮团练击退。邱昌道一怒之下，急于取胜，反而中了衢州知府江允康的诱敌深入之计，安排奸细假意邀请其内外夹击攻打南门，却布下陷阱，邱昌道不知是计，率兵冲入城中，却被关在瓮城内，一番厮杀不得解脱，乙四师大败，城内守将乘胜追击，讨虏军死伤二千余人，二千多讨虏军半夜逃散不知去向，邱昌道仅率领三千不到回到大营。

一时间人心惶惶，讨虏军大败，乙四师师长邱昌道要被圣王责罚的传言在军营中流传。

此时，衢州知府江允康更是偷偷派人密会邱昌道，宣称大清朝廷已经许诺给邱昌道浙茳金衢严守道道台之职位，只要邱昌道率手下将士投降，人人有重赏，有官当。

于是，邱昌道在一干湘南天地会众的怂恿下，动心了。他想到军中那个传言，有理由相信，圣王会追究他败军的责任。与其等待被圣王降罪，不如博个前程。

不过，他又有些犹豫，因为他看见讨虏军一天比一天强大，而他贵为师长，哪怕是乙等师的师长，也是高级别的将领。在这一只越来越强大的军队中，作为高级将领，前程也不可限量，因此，他很犹豫：投降满清，真的能有出息吗？

不过，十余名手下的一席话，将他的犹豫变得坚定起来：“大哥，我们参军厮杀，不就为了博个前程，可你看你现在虽然是师长，又有什么好处？要银子，银子没有，还不能抢女人，做这个师长，又有个屁的意思？还不如满清的一个县令呢！反正你不归降朝廷，我们也要归降了！”

于是，邱昌道定下心来。一不做，二不休，他当即将大部分的兵力调往自己的亲信手下统辖，而将十余名忠于圣国的连长排长全部以开会的名义，将之铲除。而后，又趁夜出兵，将三千讨虏军带至衢州守军的包围圈内。

最窝火的一幕发生了，邱昌道以拉练的名义，将三千讨虏军将士的武器全部收缴。而后，清军二千余人手持鸟枪和刀矛，将手无寸铁的三千讨虏军将士包围。

这时，邱昌道宣布自己和一干手下，归顺朝廷，并且受封道台，只要跟随他的讨虏军将士，人人有封赏，个个有官当，顿时，有一千二百多名讨虏军将士，本就属于邱昌道原来的手下，一直不大适应讨虏军的军规，欢喜雀跃地跟随大哥邱昌道归顺清军。

另外一千八百多人，在威逼利诱下，过了一天，又有五百人答应加入清军。剩下一千三百人，自始至终不肯答应背叛讨虏军。在邱昌道带领手下和清军接连杀死五十余人后，这一千二百多名讨虏军将士爆发了，怀着满腔的怒火和仇恨，徒手朝手持鸟枪和刀矛的叛徒及清兵进攻，最终虽然杀死数十人，打伤百余人，但最终还是被歇斯底里的邱昌道率兵全部杀害。

衢州知府江允康大喜！顾不得向浙茳巡抚禀报，直接派八百里加急快马，向京师禀报自己大破粤贼，并招降贼头的捷报。

而后，邱昌道更是听从江允康的安排，主动联系偏师李观龙所部，邀请一道前后夹击衢州城。

李观龙不知是计，遂率兵一万，从金华府城外撤兵，往西朝衢州城而来。