就在瓦岗军在东京和兵鏖激战的时候，河东又发生了一场惊天动地的大事：太原留守李渊在晋阳起兵！
大隋国基真的已经动摇了。
李渊的父亲名叫李昞，在北周时担任安州总管，袭封唐国公，她的母亲与文帝杨坚的独孤皇后是亲姐妹。李渊七岁的时候便袭封唐国公。
李渊年轻的时候风流倜傥，性情直率，宽仁容众，正所谓从小看到大，那时就已经知道李渊并非池中之物，将来必定会有一番作为。大隋立国后，因为皇戚，倍受抬爱，先后任谯州、陇州和岐州刺史。当时有个叫史世良的术士为他相面，说：“你骨法非常，必为人主，但应小心从事。”李渊谨记于心。
大业初年，李渊曾任荥阳、楼烦二郡太守，后征为殿内少监。大业九年，升卫尉少卿，二征高丽时，受命在怀远镇督运粮草器械。
民间流行李氏当王的谶语，杨广曾猜疑李渊可能是应谶之人，想召他回朝意欲加害，恰巧李渊告病，幸运地逃过一劫。
大业十一年五月，杨广游幸汾阳、出巡突厥时，又任李渊为山西、河东抚慰大使，调发河东兵讨剿义军。李渊行至龙门，义军首领毋端儿率几千人进攻龙门县城，李渊仅领数十骑出城陷阵，李渊连射七十箭，七十名义军士卒应弦而倒，吓得毋端儿调头逃走。
大业十二年四月，有历山飞将之称的甄翟儿率十万义军进攻太原，守将潘长文战死。杨广诏李渊为右骁卫将军、太原留守，率兵进攻甄翟儿。李渊率部在西河郡永安县的雀鼠谷与甄翟儿遭遇。当时李渊仅率两千骑兵先行，陷入义军重重包围。危机时刻，次子李世民率轻骑破重围，箭无虚发，所向披靡，将李渊救了出来。
李渊的子女个个英武过人，次子李世民尤为聪明果敢，见识超凡。杨广被困雁门关，李世民应召入伍，向云定兴献计解了皇上被困之急，深受皇上嘉许。
晋阳宫监裴寂和晋阳令刘文静，都是李世民的朋友，对李世民十分敬佩。刘文静曾对裴寂说：
“李世民非一般人，豁达似汉高祖刘邦，神武像魏武帝曹操。虽然年轻，却是命世之才！”
时交亥正，夜色深沉，在这万籁俱寂的时候，李世民悄悄走进了太原牢狱的大门。他是来探视刘文静的。
刘文静跟李密是儿女亲家。杨玄感兵败，李密脱逃，刘文静也因此受到株连，被皂上下令押入太原大狱。
牢狱上早已被李世民打点过了，由一名狱卒在前引路，来到关押刘文静的监房，狱卒先进去通报了一声：
“刘大人，李公子来看你了。”
李世民迈入监房，狱卒随即退出来，严严地关好了门。
分别已久，又是在狱中相见，两人都非常高兴。李世民作了个揖，呵呵地笑着说：“文静公，虽然屈居牢狱，晋阳令神采依旧啊！”
刘文静哈哈大笑着拱了拱手：“托福，托福。随遇而安，得时而动，只恨生不逢时，未遇明君啊！哎，世民老弟，你不趁这英雄四起的时候，好好干一番大事，反而跑到大狱里来看我这个罪人，岂不是荒废了时光！”
李世民说：“我来这里并非荒废时光，是来与你商议天下大计的！”
刘文静说：“如今天下大乱，非有商汤、周武、汉高、光武之才不能安定。”
李世民微笑着点点头：“不是没有，只是一般人没有看到罢了。”
刘文静心中明白，说：“我早就看出你是胸存大志的人，非同一般。世民老弟，如今皇上南下扬州，李密聚众进逼东京，大贼连州郡，小盗阻山泽，多不胜数。但是这些人成不了大事，必须有真主驾驭才能取天下。如果能应天顺人，举旗大呼，四海则不难平定。眼下太原百姓为躲避盗贼，都迁入晋阳。我任晋阳令数年，与许多豪杰相识相知，一声呼唤，召集十万八万人并不难。唐自公为太原留守，手中也握有几万兵马，如果他肯为首，号令即出，无人不从。这样便可乘虚入关，不用半年，即成帝业。”
李世民听着，不住地点头，说：“你说的，正是我所想的。只是怕家父不肯。”