李渊回到家，把李世民叫到跟前说：“举事造反我不怕，不过你可记得，解雁门之围时，你在皇上面前立的誓言？我怕人说你言而无信！”
李世民说：“父亲，当今天下混乱，百姓贫困，全因皇上荒淫所致。今天的皇上已非昨日皇上，难道我们还非得拥戴一个遭天下人唾弃的国君不成？”
李渊无言以对。
“再说，我是为父亲着想。父亲受诏讨贼，贼可以讨尽么？讨不尽，则最终难免获罪。当年世间传说李氏当应谶言，结果李浑一族无辜被杀。父亲即便能讨尽贼寇，皇上给你个功高不赏，处境就更危险了。所以，举事大计，父亲不可再犹疑。”
李渊叹息说：“你说的极有道理。今日破家亡身由你，化家为国也由你了！”
李世民喜出望外，又马上提出请李渊设法将刘文静放出大狱，跟裴寂一起参与大事。
大业十三年七月，在经过几个月紧锣密鼓的谋划和招兵买马之后，李渊正式起事，自称大将军，建大将军府，任裴寂为长史，刘文静为司马。
刘文静说：“欲夺天下，必须先取关中。除了西进关中，直取长安之外，我们没有别的路可走。也惟有此，才可成功。”
后来的事实证明，这真是英明之举！
裴寂又献计策：为了避免过早地显山露水，成为众矢之的，此时先不公开宣称反叛朝廷，而是尊杨广为太上皇，拥立留守长安的代王杨侑为帝。这样，进军长安也算出师有名。
李渊听后，自嘲地笑笑说：“这是掩耳盗铃。然而迫于时事，也只好如此了。”
留守长安的代王杨侑听说李渊在晋阳起兵，就料知他想夺西京，而且来者不善，立刻派虎牙郎将宋老生率两万精兵屯守霍邑，骁卫大将军屈突通屯守河东，阻击李渊西进。
七月底，李渊命四子李元吉为太原太守，驻守晋阳宫，全权处置留守事务。自己亲率三万甲士，立军门誓众，启程西进，开始了创业的义举。
此前不久，李渊写信给正在威逼东京的李密，想联合共举大计。这时候，派往瓦岗军的使者，带回了李密的复信：
“我与兄派流虽异，根系本同，自己才疏学浅，被四海英雄共推为盟主。希望左提右挈，戮力同心，执子婴于咸阳，殪商辛于牧野，共襄此盛举……”信中还要李渊率几千人马亲至沁阳，与他面结盟约。
看了李密的复信，李渊笑着说：“李密妄自尊大，不甘心居人之下，一群草寇推他为首领倒也罢了，还想要我也承认他的盟主地位。燕雀凌于鸿鹄，实在有些不自量力。不过，我们今天志在关中，如果与他断然绝交，等于又树一敌，于我不利。不如卑辞推奖，任他骄狂。利用他为我堵塞成皋之道，拖住东京之兵。等到关中平定，据险养威，再从容地观看鹬蚌之争，坐收渔人之利也不晚！”
随即，李渊命记室温大雅再回一书说：“我虽庸劣，幸承祖先余绪，出为八使，入典六屯。国家倾覆而不扶，将为时贤责备，所以大会义兵，和亲北狄，共匡天下，志在尊隋。天生兆民，必有主宰，当今可做天下主宰者，舍密公还能有谁！老夫已过知命之年，无心力图天下主宰。衷心拥戴贤弟，攀鳞附翼，望弟早膺图箓，以安宁天下百姓！如能以我为李氏同姓，宽容接纳再封于唐，有此殊荣足矣。至于殪商辛于牧野，执子婴于咸阳，我无此能力气魄。汾晋左右，尚须安固，盟津之会，无暇顾之。”
李密收到这封书信后高兴万分，逐一示左右将领，说：“唐公都推我做盟主了，不愁天下不定！”
此后双方信使往来不断。
李渊西进关中之前，还办了一件大事：派刘文静出使突厥，面见始毕可汗，请他出兵相助，攻取长安。李渊此举有他一定的道理：一是自己的力量毕竟还是薄弱，如遇大敌，难以抵挡，有了突厥帮助就会强大多了；二来如果突厥出兵，就与自己成为同路，算是入了伙。若不然，自己率军西进，突厥瞅准空子领兵南犯，必将把自己推入首尾难顾的尴尬境地。
刘文静临行前，李渊再三叮嘱，对始毕可汗一定要许以厚利，反复重申：如可汗相助攻下长安，民众土地归唐公，金玉缯帛归突厥。