张宾见石勒犹豫不决，又向其解释道：邺城所在不仅有坚固三台之城，又西连平阳，且四塞山河，于地形而言有喉结之势，是逐鹿中原并吞四海的兵家必争之地，将军却弃之不顾，来争什么东南一隅。只要荡平黄河南北，这天下不就唾手可得了吗？将军又在怕什么呢？至于寿春的晋军，他们聚集就是为了防御将军进攻，如今你要撤军，他们高兴还来不及，又怎么会派奇兵来招惹你呢？如果将军还是不放心，完全可以先把粮草辎重北上运走，以大军南向扎营威慑晋军，待辎重撤走后，大军在缓慢回撤，可确保万无一失，进退无忧。张宾的谏言此时于石勒仿佛醍醐灌体，他总算回过味来，明白了自己多日来的困惑和纠结到底在哪了？这种欲思而不得，弃而又不舍得情愫，当年曹操也深有体会，鸡肋鸡肋，食之无肉，弃之有味。幸运的是今天的石勒有张宾这种谋士在侧可以为之指点迷津，否则其必折戟沉沙于此，也就不会有什么统一北方的后赵政权存在。
唐朝宰相房玄龄曾言张宾其人，机不虚发，算无遗策，成勒之基业，皆宾之勋也。可想而知在关键时刻，杰出幕僚对于一个雄主能否成就大业的重要性。他们总是在你难以下定决心，左右为难，进退维谷之时，明确给你指出生路，舍小保大，毋庸置疑。对于张宾有理有据的恳切之谈，石勒同样深以为然。他仿佛抓到了救命稻草一般，形色于外，撩起自己的衣袖，近乎激动的翘起胡子言道，张宾所言极是。又转身责备让自己投降于晋的右长史刁膺，说什么为人臣者，应该进尽忠言匡扶主上成就霸业，怎么可以劝人投降呢？献此策的人就应该斩首。顺道又损了人家一波，说什么看他这个人秉性怯懦，这次就算了，饶其一命。将刁膺降职为将军，又再次提拔张宾为右长史，再加封中垒将军，张宾也因此被称之为“右侯”。于是撤军的计划就次敲定，石勒率军撤离驻地，派骁勇善战的侄子即日后后赵政权最为残暴的皇帝石虎，率领两千骑兵断后阻击晋军追兵。
但撤军北归的路并不好走，石勒所率部队其实就是一群暴徒组成的流氓大军，兵员极其复杂，之所以能受制于石勒统辖，并保持不俗的战斗力。一来是因为石勒治军严整且残暴，将士多畏惧其威严。二来是石勒对其兵较为放纵，劫掠民财是其部队惯例，有利可图自然奋勇克敌。但如此一来部队也隐藏巨大的弊病，这次撤兵许多问题即暴露无遗。
当时江南货船到岸，部队劫掠满载米布的货船数十艘，兵士们趁乱哄抢货物，甚至连部队设防的事都弃之不顾。晋朝部队看准时机，派伏兵迅速出击，在巨灵口大败石虎，其所率部队投水而死者数百人，本来作为断后阻击敌人的轻骑部队直接狼狈逃窜百里，一头扎进了石勒后撤的大军之中才作罢。而这些慌不择路逃窜的骑兵也惊吓到石勒大军，人心惶惶，以为晋之大军即到，迅速列阵迎敌。而晋军胜的轻松，害怕前有伏兵，而不敢再行追击，反而撤退到寿春进行防守。就这样在彼此的误会中，双方均相安无事渡过了各自的危机。
可能是晋军追击的后遗症，也可能是石勒大军确实粮草不济。石勒北归的路上，所过之处全部坚持坚壁清野，四处劫掠，但却终无所得。以至于发展到因为缺粮，士卒甚至直接同室操戈，相互杀戮而食，这也从侧面看出石勒所率之众是何等之辈。直到行至黄河附近，石勒所率大军意欲北渡黄河，而对岸驻扎着一支由一个叫向冰的将军统领数千兵士的部队。石勒害怕自己在渡河之时被其攻击，于是召集将军谋臣开了个临时会议商讨如何处理这个问题。张宾提出可以派骁勇奇兵攻其不备，偷渡到对岸，劫其船来摆渡大军，一旦大军过河到了对岸，向冰及其所部就是砧板鱼肉，不足为虑。