瓦岗众人得知李密用玉玺换得萧后，愤懑难平。萧后知瓦岗之人必会反她，劝说李密一定要趁机将政见不合者除掉，以绝后患。此时，单雄信怒发冲冠，责问李密为何如此淫荡，将兄弟们用命换来的玉玺拱手让人，不图上进却耽于女色。萧后从中挑拨，李密怒斥单雄信想要玉玺，不过是为报私仇。单雄信怒杀萧后，被秦琼等人拉住。单雄信一气之下，带着单盈盈离开瓦岗。翟让听说玉玺换萧后之事，前来劝说魏王将玉玺换回，却遭毒手，惨死李密手下。李密荒淫无度，不理政务，瓦岗众人之心日渐凉薄，渐自寻出路。
徐茂公、魏征痛恨李密为人奸诈，便商量着离开瓦岗投奔大唐。二人在城墙上赋诗几句，掷笔而去。此后，瓦岗不断有人离去，渐成一座空城。李如辉、齐国远、谢映登等人亦离瓦岗而去。秦琼、程咬金、罗成、王伯当等人仍留在瓦岗，期望李密能够悔悟，重建瓦岗。然瓦岗衰落之势，已难以挽回。