旋即文臣武将皆请李渊领太尉职衔，加置僚属，李渊听从。进入关中自然会顺畅许多，自然大将军府官位有限，需要太尉府吸纳新投诚而来的世家豪门，武将文臣。
旋即华阴县令李孝常来降，华阴县的永丰仓和平交归李渊。修整数日即进军渡河，李渊置僚属住长春宫。三秦士庶投奔李渊者日以千计。李渊皆礼遇厚待，关中世家豪门英雄俊才皆闻其美名，闻名而往追随。
旋即李渊谴世子、陇西郡公建成、司马刘文静率军屯驻在永丰仓，兼守卫潼关，防备外敌的职责。令世民率刘宏基军和长孙顺德军及先后前来追随李渊军的义军，合计约三万大军，自渭北巡狩平定三辅之地，所到之处应声而降，无有不从。李渊从父弟李神通于郿县起兵响应，柴氏妇、平阳公主举兵在丝竹与李世民部会师。贼帅丘师利、李仲文，盩厔贼帅何潘仁等，合计五六万来降。李渊旋即命世民自渭汭进兵阿城，陇西公建成自新丰取霸上。李渊亲率大军自下邽西上，经炀帝行宫园苑，所过之处尽皆罢黜，宫女放还归亲属。冬十月，至长乐宫，有随行之众二十万。京师留守刑部尚书卫文升、右翊卫将军阴世师、京兆郡丞滑仪不肯投降李渊，依旧听从隋代王命令积极部署，准备迎战。李渊遣使至城下，宣读谕旨望其投降，一连十余日，不见投降，准备也已完成，诸将都请求围城。十一月丙辰，攻克并占领京城。卫文升在李渊军攻破城池之前就病死了，阴世师、滑仪等人接替守城拒李渊，城破被斩首。旋即俘虏了隋代王杨侑，几天后李渊率百僚，备法驾，立代王侑为天子，遥尊炀帝为太上皇，大赦，改元为义宁。甲子，隋帝诏李渊假黄钺、使持节、大都督内外诸军事、大丞相，进封唐王，总录万机。以武德殿为丞相府，改教为令。以陇西公建成为唐国世子；世民为京兆尹，改封秦公；姑臧公元吉为齐公。十二月，为酬谢关中世家豪门及众军校的支持，李渊置丞相府，置长史、司录已下百官僚属。令元吉率军护送太原家属来京师，不久怀胎不显的秦王妃随诸多国公府家将奴婢及追随李家左右的世家豪门家属亲朋及军将家属亲眷前往京师长安就居。