瓦岗山，在今河南滑县南边，方圆数百里，易守难攻。翟让揭竿而起，附近百姓纷纷前来投奔，很快聚起大批人马。起义军根据山势，构筑了方圆二十余里的宏伟寨墙，十分壮观，形成了著名的瓦岗寨。起义军依据山寨，多次打败官府围剿，势力日渐壮大。闻知翟让起义，四方豪杰纷纷归附。那个救了翟让性命的黄君汉，也上了瓦岗寨。
黄君汉，是河南新乡人，侠肝义胆，见识超群，他放走翟让以后，也随即逃匿。黄君汉听说翟让聚义瓦岗寨，很合心意，便前去参加。翟让见救命恩人来到，异常高兴，对他委以重任。黄君汉为瓦岗军的发展壮大，做出了很大贡献，并独自率军镇守重镇柏崖。后来，瓦岗军失败，黄君汉归顺了唐朝，因战功卓著，被任命为上柱国、怀州刺史，封为虢国公，五十二岁病逝。
翟让举起反隋大旗，许多英雄聚于麾下，其中著名人物之一，是大名鼎鼎的徐世勣，就是隋唐小说中徐懋功的原型。
徐世勣，字懋功，是山东东明人，迁居到滑县，与翟让结成了朋友。徐世勣智勇双全，尤其善施计谋，在小说中被描写成诸葛亮似的人物。隋朝名将张须陀，就死于徐世勣的计谋之下，可见徐世勣的才能，远在张须陀之上。徐世勣是瓦岗元老，为瓦岗军发展壮大立有大功，是瓦岗军核心人物之一。后来，徐世勣归降唐朝，成为唐朝开国功臣，被赐姓李，改名李勣。李勣活到七十六岁病逝。
瓦岗寨的另一位元老，是忠义双全的单雄信。单雄信，是山东曹县人，与徐世勣是生死之交，两人一同投奔了翟让。单雄信和徐世勣都是富户，他们捐出家产，招兵买马，扩大瓦岗势力。单雄信擅使马槊，勇力过人，作战凶猛，被称为虎将。后来，单雄信死不降唐，被唐朝所杀。
瓦岗寨聚义的人越来越多，粮食成了大问题。徐世勣对翟让说：“我们都是当地人，兔子不吃窝边草，不能侵扰当地百姓。荥阳和梁郡，是汴水流经的地方，来往商船很多，我们可以到那里取得财物。”翟让认为徐世勣说得对，于是率众进入荥阳、梁郡境内，抢劫来往商船，以解决军需问题。
瓦岗军初期，属于绿林好汉，劫富济贫，颇有些水浒梁山的味道。翟让豪放粗犷，没有大的谋略，也没有夺取天下、登基称帝的野心。后来，关陇集团贵族李密的加入，给瓦岗军带来新的生机。李密胸怀大志，谋略过人，使瓦岗军有了明确的战略目标，而且势力愈来愈强，成为反抗隋朝的主要力量。
在隋末大乱的时候，不仅农民起义风起云涌，统治集团内部也有人反叛，最著名的是杨素的儿子杨玄感，竟然也举兵造反了。