李渊，字叔德，祖籍陇右邢州，世居陇右成纪。祖上可往上追溯至十六国时期西凉开国之主李暠。西晋亡于皇室内乱以后，中原板荡，社稷倾覆，一部分中原百姓迁徙至西域或河西定居，至此此地逐渐汉化，中原世家旁支李昶的庶生子李暠等人随迁徙逃难大军进入河西，随后安顿下来。
北凉神玺元年，世家旁支无名庶子段业进入后凉太祖吕光部将杜进的幕府，后因筹划建言有功被吕光发掘，引入自己幕府为记室，后筹谋有功，被任命为后凉尚书，即吕光的幕僚长，旋即被任命为北凉建康太守，实不过一侨县县令耳，诸如江东晋朝诸多侨县侨郡，皆是如此。
沮渠蒙逊的伯父沮渠罗仇、沮渠麹粥跟随后凉国主吕光征讨河南之地，吕光部进军受阻。军中内讧，沮渠罗仇和其兄弟沮渠麹粥先后被杀。后方沮渠家族不久即得到消息。沮渠家为后凉声势显赫，盘根错节的地方豪强，家中兄弟两人沮渠蒙逊和沮渠男成合谋利用主持葬礼的机会说出家中祖父死亡冤情，号召宗亲姻缘之家联合，并迅速聚集了数万人马。随即联合姻亲之家斩杀奉命驻扎此地的中田护军马邃、临松令井祥，接管该地。进行全面战争动员。
并随即胁迫抓获的北凉建康太守段业为使持节大都督，凉州牧，脱离后凉，建北凉，号建康公，建元神玺，定都张掖。李暠被任命为效谷县令。随后段业又改称凉王，改年号天玺。天玺元年李暠升任敦煌郡守。李暠与沮渠蒙逊集团矛盾渐不可调和，遂于北凉天玺二年自立为大将军、护羌校尉、自领秦州、凉州牧，自号凉公，脱离北凉立国，以敦煌为都，疆域包括河西西部及西域一部，奉表自臣于晋。后因北凉势大，迁都酒泉郡。
同年北凉实际控制人沮渠蒙逊起兵攻入张掖，国主段业以下皆降。叛军随沮渠蒙逊入宫中俘获段业，段业哭求，沮渠蒙逊不听；士兵一齐上前将其乱刀砍死。
西凉国主李暠常年率军与北凉作战。病故以后其子李歆和李恂先后继位，皆非仁主，刻薄无德，严刑峻法，致使人力凋残，百姓愁悴，在位总计不过五年，已国穷民尽。西凉后主李恂乞降，北凉沮渠蒙逊不允，自杀，西凉亡。
李暠子李歆，生有数子，大都国破被屠。唯小儿子景顺在家人庇护下逃过一劫，至中原，归刘裕。后随军南渡，于南朝刘宋为小吏；后又随军到北地，在北魏，逐步升迁至弘农郡太守、安南将军。景顺有子孟良，孟良有子德真，皆为北魏底层小吏，无高官厚爵者。德真有三子，李虎即为其二子。后李虎于军中节节攀升，追随宇文氏至西魏时已官至西魏太尉。八柱国之一。其子李昞于北周官至御史大夫、安州总管、柱国大将军，袭唐国公爵位。李昞去逝甚早，李渊七岁时其父亡故，家中由李昞妻子独孤氏料理。独孤氏为随国公杨坚妻独孤氏的同父同母的长姐。开皇元年隋文帝受周静帝禅让建立隋朝。李渊成年即被任命为千牛备身，因姨母的关系备受杨坚器重，开皇年间还先后出任过谯州及陇州等地的刺史。隋大业年间先后出任荥阳与娄烦二郡郡守，后又在殿中省任职。大业九年征伐高句丽，李渊为转运官，为怀远前线筹措粮草辎重。这年六月杨玄感于关中反，李渊奉命镇守弘化，是关右诸路军的最高负责人。
在镇守弘化镇时李渊广结天下英杰，积极结交关中世家豪强。隋帝相召，李渊称病不能前往。大业十一年调任山西河北慰抚大使。于赴任途中击败诸路反隋义军，并收编万余人，随即将其交还朝廷。后一年升任骁卫将军，闲置。不久突厥寇边，令其与马邑郡守王恭仁北击突厥，大胜。
其后调任太原留守、晋阳宫监。太原是北方军事重镇，常年驻军防御突厥，建造有诸多森严城池和守备力量和诸多仓邑，聚集了诸多弓马粮草，驻守有大批精锐隋朝廷官军。如此军事重镇还配备有皇帝临时行宫---晋阳宫，是皇帝运筹帷幄全面接手北方军事的核心枢纽。
李渊先后征讨诸多飞贼，并积极笼络吸纳各地英雄俊才。后于大业十三年随着天下大势崩坏，中原烽火燎原，关中与关东沟通渐被阻隔，李渊起事。在极短的时间内联络各方，完成准备。
精通政治手腕深处隋廷权利中心多年的李渊深知眼下的局势平顺并未改变危局。若要争取至尊之位，现在是最佳时机，隋关东精锐官军并未解除对局势的完全控制，一旦道路打通，则皇帝即可直接遥控指挥晋阳宫文臣武将控制局面，李渊如无法在此之前控制太原重镇和晋阳宫，则万事皆休。即便天下已然不安，但太原府和晋阳宫依旧平稳运作，隋朝廷依旧能稳定住太原局势。李渊愈发焦虑坐立难安。此时就任晋阳宫副监的晋阳宫实际掌控人裴寂恰到时机的投诚可谓解了李渊最大的心结。随后李渊嫡次子李世民结交的晋阳县令刘文静的投诚可谓及时雨。因刘氏与李密家族牵连甚深，李密反隋受到牵连的刘文静被下狱治罪。刘文静于狱中向李世民分析天下局势，筹谋献策:在太原百姓乡勇中招募士卒十万，会同李渊彻底掌控的数万太原隋军，趁关中与关东信息暂时鼻塞，关中战乱刚刚平定，防守不严密的时机快速进军关中，号令天下，不下半年即可稳定局势，代隋而立，进军中原。李世民将其转呈李渊，李渊决定采纳这个战略。遂定下起兵大略。对于募兵，李渊筹划分两步走，其一，以释放出狱的刘文静伪造隋炀帝诏令，令太原、西河、雁门、马邑四郡凡二十至二十五岁之间男丁悉数征召为兵，令其在这年末需赶到涿郡参与攻伐高句丽，由此人心思变。趁刘武周势力与马邑郡守王仁恭合力率军进攻太原之机再次伪造诏令募兵。