李建成和李世民率领义军一举攻占西河，只杀了高德儒一人，官吏百姓皆不侵犯，远近百姓都称赞义军。李渊高兴地说：如此用兵，可横行天下！ 李渊采纳李世民的建议，开仓放粮，参加义军的人越来越多。太原义军声势浩大。李渊任命李建成为左军大都督，李世民为右军大都督。 隋炀帝得知李渊背叛朝廷，大发雷霆，悔恨二年前元宵夜，没杀了李渊。隋炀帝责令虞世基派兵围剿李渊，一定捉拿李渊到江都。虞世基有苦难言，东都受到李密的围困，各地义军此起彼伏，朝廷军队招架不暇，根本无力派军队对付李渊。 李渊命李元吉为太原太守，守卫太原，他带领李建成和李世民进军长安。长安的代王杨侑派屈突通和宋老生分别在河东、霍邑阻击义军。 因为攻占了隋朝的粮仓，数十万的饥民投奔李密，瓦岗军迅速发展到百万之众。李密自恃兵力强大，欲做义军盟主。李渊为进军关中，无意与李密为敌，同意推举他为盟主。李密分外高兴，说有唐公举荐，天下可很快平定。 天降连绵大雨，李渊的三万军队被阻于霍邑五十里外的贾胡堡，李渊忧心忡忡。

支援义军的粮食迟迟不到，李元吉又派人来报刘武周将犯太原，李渊决意退回太原。李世民在李渊帐外大哭道：义军初立，前进才能成功，后退将分崩离析，敌人乘危于后，义军将不复存在。李渊顿悟，命李世民和李建成连夜追回已撤离的左军。 义军兵临霍邑城下。霍邑易守难攻，李世民用连环计谋将宋老生引诱出城，在城外消灭了宋老生的军队，一举占领霍邑。义军乘胜前进，又陆续占领了临汾、龙门等地。兵至黄河岸边，黄河两岸的百姓，踊跃欢迎义军，送舟送船，每日有一百多人！关中豪杰，也纷纷翘首期盼，盼望义军过黄河，进长安，定天下。站在黄河边，李渊感慨万分，承诺李世民，一旦得到天下便立他为太子。 义军进攻河东，屈突通率军拼死抵抗，义军攻城受挫。李世民说兵贵神速，建议父亲绕过河东，直奔长安。裴寂等人极力反对，担心前后受敌。