南端的南桥镇，胜了太平军一次。
捷报传到清廷，“两宫皇太后”(东太后与西太后)颁下懿旨，赏给华尔以四品翎顶，把洋枪队改名为“常胜军”，任命华尔与杨坊二人为“管带”(实际上杨坊只管筹款)。
常胜军的员额规定为三千人，其后扩充到四五千。
同治元年三月，英国外务大臣罗瑟尔咨请海军大臣通令英国在华海军，保护上海及其他通商口岸，以及航行于长江的商船。从此，英国不再中立于清军及太平军之间，而公开地站在清军的一方。法国的志度与英国一致。
英国的一部分陆军，约有二千七百名左右，由斯泰夫莱率领，从天津调来上海，会同英、法两国的海军与常胜军，共同保卫上海租界，及其三十英里半径的外围。事实上的总司令，由何伯担任。
包括在这三十英里半径以内的重要城镇，是松江、青浦、嘉定、柘林、闵行。松江已在华尔的手中，青浦等地于同治元年四月间—一被“联军”及常胜军占领，使得李秀成遭受到很大的打击。
这一月，法国兵在宁波行动，把太平军逐出宁波，虽则太平军从来不曾“侵犯”宁波城外的洋人居留地。
三个月以后，“联军”与常胜军进攻余姚，拿下余姚。华尔赶到余姚率军再打慈溪，负伤而死。
华尔断气以前，立下口头遗嘱，说吴煦欠他十一万两，杨坊欠他三万两。这十四万两银子，他要留五万两银子给他的中国寡妇(也就是杨坊的女儿)，其余的分送在美的一弟、一妹。
华尔初来中国之时，是年仅二十一岁的货船大副。开始担任“洋枪队队长”之时，也仅是二十九岁的炮船大副而已。何以在作战两年多以后，能够留下这样多的“债权”呢？
原来，攻下松江之时，他应领奖金三万两；其后每攻下一城，他应领奖金三万六千。此外，凡是洋枪队及常胜军所劫掳的“敌人”财宝，他均有一份。再加上他本人的薪饷每个月三百两。
他在遗嘱中，指定何伯与美国公使蒲安臣为遗嘱执行人。但是这两人费尽心机，索不到杨坊与吴煦所欠的十四万两银子。这件事，一直等到几十年之后，才被列在《辛丑和约》之中，作为《拳乱赔款》的附带要求，折合美金十八万元，由清朝政府付出。
华尔出缺以后，常胜军的指挥官改由白齐文担任。白齐文也是美国出生的冒险家，这时候年方二十七岁(比华尔小五岁)，自从洋枪队成立以来，一向是华尔的副手。
白齐文立下两次战功。一次是在同治元年九月初二日(10月24日)，因太平军再占嘉定，白齐文将嘉定夺回。另一次是在九月二十八日(11月19日)，太平军来攻青浦，他与淮军程学启部前往援救，大败太平军，俘了六百，杀了八百，逼到水里去溺死的有两千左右。
然而，他与李鸿章合不来。李鸿章已经继薛焕之后担任江苏巡抚，有权节制常胜军，派了一个英国人浩伦德作常胜军的秘书，对白齐文掣肘。同时，杨坊又拖欠常胜军应领的薪饷。
曾国藩在同治元年十一月(12月底)调常胜军去南京，参加围攻。常胜军全体官兵抗令，说要等领到欠饷才走。白齐文去见杨坊，语言之间发生冲突，就打了杨坊一记耳光，抢走杨坊的现款四万两。他认为这四万两，正是杨坊该给的欠饷。
李鸿章一面将白齐文革职，一面请英国陆军司令斯泰夫莱保荐一个继任人选。斯泰夫莱保荐戈登，于戈登到任以前，暂由浩伦德代理。
浩伦德接管以后，在同治二年正月间去打太仓，吃了一个败仗，死了一百九十人，伤了一百七十四人。浩伦德显然不善指挥。
被革的白齐文不服这口气，乘船到北京去，向英、法两国的公使呈诉；两国公使替他报告恭亲王奕訢。奕訢把事情转请李鸿章考虑，李鸿章却不愿恢复白齐文的职务。
于是，同治二年六月十八日，白齐文叛清，向太平军投效。他纠合了若干因拥护他而被常胜军开革或自动脱离常胜军的旧部，又增募了若干在上海的“国际滥仔”，在松江附近抢得一艘汽船后直驶苏州，向太平军投效。
太平军收了他的骨干，但并不将他重用。两个多月以后，白齐文与三十二名洋兵回到上海租界。美国领事将他逮捕，押解出境(送到日本)，藉以保护他，免得他遭受清方官吏与人民的捕捉。
次年五月，南京城破以前不久，白齐文从日本潜回中国，在宁波登岸，步行到内地(可能是湖州)，再度参加太平军，直至在福建漳州被俘为止。