当年段匹磾与刘琨歃血为盟时曾有言:有渝此盟，亡其宗族，俾坠军旅，无其遗育。而刘琨后却被段匹磾所杀，不知段匹磾在临死之前会不会诧异自己当年的誓言，居然在乱世之下机缘巧合的一语成谶。而随着段匹磾被杀，曾经光耀一时活跃于辽西地区的段氏鲜卑也逐渐退出了历史舞台。公元325年段末波去世，之后段部鲜卑的大权重回段日陆眷一系，三十年后段氏鲜卑建立的政权为慕容鲜卑建立的前燕所灭。
当年永嘉之乱后，以安东将军之职，都督扬州诸军事为由，前往江左经营东南的司马睿，对内任用王导等人平定叛乱，优待士族，稳固江左。对外则以祖逖为奋威将军、豫州刺史，意欲收复中原。而祖逖若想北伐，则必须在豫州站稳脚跟。经过多年经营，祖逖在由桓宣单马入谯城劝降樊雅后，得以进据谯城后，顺利于河南淮北地区打开局面。晋元帝太兴二年，即公元319年，正值汉赵内乱分裂，石勒、刘曜各据东西之时。由于豫州蓬坞堡主陈川部将李头，在协助祖逖征讨谯城樊雅时，曾受祖逖礼遇，所以遂有投诚之意。
其主公陈川后闻李头感慨此事，其言道：我若能得祖逖为主，虽死无恨。遂大怒将其弑杀，李头亲信冯宠因此率部数百人连夜投奔祖逖。陈川因此更为愤恨，派部将四处劫掠豫州诸郡，这使刚刚为祖逖所稳定的豫州地区再次变得动荡不安。祖逖因此派军对抗陈川，陈川不敌，遂率所部投降于石勒。祖逖于是率军讨伐陈川，石勒派侄子石虎南下救援，祖逖不敌，败退至淮南。由于石勒此时正与汉赵割裂，自立为王，另一面又意图攻灭段部鲜卑，积极整合河北幽并地区，所以无暇顾及江淮之地，祖逖败退淮南后得以喘息修整。次年祖逖再次兴兵北伐，大败石勒部的赵军。公元320年，祖逖于汴水设伏兵劫取石勒南下运送给戍守蓬陂坞堡的部将桃豹的粮草补给，桃豹只得退守东燕城，祖逖则趁机进据雍丘，即今天开封地区，直抵黄河南岸，与石勒所据守的河北地区隔河相望，进入南北对峙阶段。
在此期间祖逖积极经营河南之地，劝课农桑，身先力行，安抚调和原先各自独立互相征伐的坞堡。且待人以诚，体谅黄河沿岸被迫屈从石勒，甚至不得不以子侄，至后赵襄国城为质的各坞堡主。为了避免各坞堡主受石勒猜忌，甚至于经常会派小股轻骑佯装攻击这类坞堡城垒，使其主可借此向石勒表明他们并没有归降晋朝。祖逖因之于黄河两岸甚得民心，以至于石勒所据河北地区的坞堡也会偷偷刺探情报传于祖逖，这使祖逖在后期多次对赵战争中始终占据优势。
而石勒见祖逖势大兵强，遂也默契保持克制不敢南侵，二者因此得以相安无事。后祖逖部将童建叛归后赵，石勒果断将其弑杀，送归其首级，以此向祖逖示好。祖逖亦不纳由后赵前来投奔之人，并严令禁止所部边将侵掠后赵。由于祖逖与石勒的心照不宣，使黄河南北有了难得的相对和平时期。石勒曾主动写信请求祖逖互市，祖逖因要避嫌，并未给予回复。但互市之事却在二者的默许下，因之得以进行，祖逖以互市之便，获利颇丰，兵马日益强壮，兵威更胜一筹。而两者交接的兖、豫二州也因之得福，但由于其特殊环境，当时之人往往既为赵人又为晋人。庶民苟活乱世，即使偶获短暂的和平，也不得不提心吊胆如履薄冰。
虽然黄河南北两岸相安无事，但一心希望收复中原匡扶社稷的祖逖，并没有就此懈怠，而是积极备战，修缮战略要地虎牢城。年过半百的祖逖依然雄心勃勃，边关将士在其统御下戮力同心，始终在静待良机。但可能是晋德不兴，上天不佑，晋元帝太兴四年即公元321年，晋元帝突然以虽有才望，却并无远见的文臣名士戴渊为征西将军，使其都督司兖豫并雍冀六州诸军事，并任司州刺史，出镇合肥。此举本意不仅是在监督牵制拥兵在外的将军祖逖，更是为了防范驻守江州，拥兵荆汉的王敦。但却使辛苦数年才得以收复中原，统御豫州的祖逖心生不快，一来是自己数年苦心孤诣为国尽忠却不得朝廷信任，二来是边地复杂交错，本应便宜行事。如今却被一个不知武备大局的文人监督节制，祖逖认为此举不利于北伐大业。思之至此，抑郁于心。而又逢王导从兄王敦跋扈，这使祖逖意识到朝廷内部矛盾激化，恐怕会有内乱滋生，而如果朝政不稳，那么本就艰难的北伐更是无望。