此时太原重镇隋廷重臣副留守王威、高君雅仍不为所动，忠心事隋。当看出李渊反迹准备突袭逮捕李渊集团，李渊先下手以勾结突厥罪名直接诛杀。当完成部署，暗中沟通刘武周与突厥部协商沟通，待其满意，刘武周集团与突厥撤军回返。随即暗中与突厥、刘武周达成和解妥协，北部防御压力骤减。
同年六月，在肃清隋室愚忠官军，整肃太原，并清洗晋阳宫，准备妥当后，李渊正式打起反旗。天下震恐，江都与洛阳隋廷压力骤增。
与此同时，李渊开幕府，置大将军府，自任大将军，裴寂拜长史，刘文敬为司马。以招募四郡兵下设左右各三军。唐国公世子李建成统帅左三军，唐国公嫡次子李世民为右三军统帅。在出兵前为稳定太原局势，开仓放粮，赈济灾民。
经过整顿，最终定下以新纳四郡新兵为南下主力军，以李渊所统辖隋太原边军精锐步骑为后备军，以李元吉为太原留守，刘文静为使者出访突厥，稳定后方，请求突厥财货军力支持。七月，李渊亲率大军三万自太原出发。
因是新军开路，故而行军速度甚慢，能说降则绝不用兵，能以财货、官职、权势开路就绝不用兵。开始十天所下皆降，并无阻拦和战事。抵达灵石贾胡堡时，天空已乌云密布，光线十分昏暗。五十里外霍邑城已经接到隋廷命令阻截李渊集团南下，李渊集团已经不得不一战。并派出老将宋老生领精锐隋军布下第一道防线。十几日来大雨瓢泼而下，迟迟不见雨停。作为后备部队的隋军已躁动不安，新军已经出现少量逃兵，即使建成和世民皆竭力控制局势，极力弹压也依旧层出不穷，渐渐有了无力回天之感。眼见军粮即将告罄，粮草转运迟迟不见，军中已谣言丛生，屡禁不止。而前方道路大部已断绝，山体崩塌堰塞道路，逐渐汇集成水泊，道路阻隔，原本应当运抵军前的军粮器械被沿途投降州县截留，李渊得到太原家中传递消息，如今太原城已然躁动不安，元吉以血腥屠戮以及无数刑罚残杀才勉强掌控城中局势。刘文静出使突厥杳无音讯。李渊经过慎重思考，决定撤军，以左军一部改做先锋部队，李渊亲自指挥撤军事宜，回太原。
当正式提出此议，建成和世民皆认为不可。建成道：如果此时回撤，将前功尽弃，后方州县定然不会令我们轻松撤退，即使撤回太原，太原恐怕也守不住了。我们能一路走来靠的是众志成城，如撤退则军心必散，人心必乱，今后即使能守住太原，再图谋天下恐怕也没人相信我们了，还请父亲慎重。
李世民亦然，纷纷劝说李渊收回命令，继续进军关中。在兄弟二人不知疲倦的劝说下李渊终于决定收回成命，继续南下。
在没日没夜的抢修道路，开挖疏水，稳定军心，联络州县征收粮草等诸多努力的苦苦坚持下，一直到八月初，天才放晴。李渊发出进军霍邑的命令。为了能以弱旅打好自离开太原后第一仗，李渊亲自指挥了这场战役。由于日夜忧心，不过十数日已像老了十几岁一样，穿着盔甲在马上已有些吃力，头发黑白相间，束发凌乱，浑身脏兮，脸色苍白，无血色。全军几无人色，衣衫破败，盔甲不整。宋老生以为可一战而诛灭李渊集团，遂率军出城迎击。李渊佯装败退，引宋老生所部入伏击圈，李世民与建成率边军精骑夹击隋军，阵斩宋老生。随即命左右三军新兵参战配合边军完成对隋军的剿杀。
首战告捷，全军士气大振，高奏凯歌。李渊立即令乘胜进军。不久刘文静归来，顺利完成出使突厥的使命，以财帛为筹换得突厥精骑五千，战马三千骑为援。九月进军到达隋廷第二道防线河东防线。河东是位于大河东岸由隋骁卫大将军屈突通所守的坚固城防，依靠险要地势和完善严密的城防体系，可谓固若精汤，连河岸边小船和树苗都被砍伐殆尽。河上无半个浮桥和船只。李渊热情款待积极笼络前来投奔的义军，联系当地地主豪门，或盛情相邀或以刀兵相威胁，受到各方资助获得渡河所用船只。