唐军班师回京，李密见到李世民。李密自恃谋略功名，对李渊尚有傲慢之色，但与李世民一番交谈后，不由惊讶心服。他私下对人说：安定祸乱的英主，将是李世民。李密的话传到李建成那里，李建成嘴上说李密这是有意挑拨他们父子、兄弟之间的情意，心中对李世民不由产生了妒忌。李建成上奏李渊，列举李密傲视朝廷的行为，建议父亲除掉李密，李渊没有同意。 李密始终不得重用，决定离开长安。他对李渊说，他到山东招抚旧部，让他们跟从李渊讨伐王世充，李渊答应。李建成说李密是想做天子的人，劝父亲不要放虎归山。李渊说人各有命，天子岂能想当就当？没有采纳李建成的建议。李密离开长安，与李世民告别，对李世民说，有谋略才华，未必能做君王，还要有心计和手腕。李世民笑着告诉李密：他这一辈子不做君王，只做个良臣，辅佐父亲和兄长，济世安民。李密告诫李世民：不顺从天意，损人也害己。 李建成再次劝说父亲追回李密，说他临行前找过李世民，对朝廷居心叵测，不久必反。李渊派使者召李密回长安，李密担心李渊害他，杀了使者，率领残部欲逃往黎阳，遭唐朝军队伏击身亡。