瓦岗（在今河南省滑县南）军的最初领导人是河南人翟让。后来，单雄信、徐世勣（jì）等人都来参加起义。616年，李密也投奔到瓦岗军来。李密很有才干，他加入瓦岗军后，一面劝翟让明确地提出反抗隋朝暴政的口号，一面亲自去劝说各地起义领袖加入瓦岗军。瓦岗军的势力迅速壮大起来，成为当时最强大的一支农民武装力量。
616年，瓦岗军攻下了金堤关（在今河南滑县东）和荥阳（今河南荥阳）附近各县，隋炀帝派大将张须陀率兵前往镇压，瓦岗军埋伏在荥阳大海寺北面的树林里，隋军中了埋伏，被杀得大败，张须陀自杀。617年，瓦岗军一举攻下今河南巩义附近隋的著名粮仓——洛口仓，并且开仓放粮，赈济百姓。附近人民扶老携幼前来领粮，他们对瓦岗军一致表示感戴。瓦岗军发展到几十万人，河南的郡县大多被他们占领。
瓦岗军攻占洛口仓后，隋朝大为震恐，派刘长恭、裴仁基领兵前来堵击，两军在石子河（今巩义东南）会战，隋军大败，裴仁基率领部下秦琼、罗士信投降瓦岗军。经过这几次胜利，李密被翟让等推为瓦岗军的领袖。617年年底至618年年初，瓦岗军大败隋将王世充军。东都（今河南洛阳，是隋炀帝为了加强中央对地方的控制而建立的一个新都）几乎被瓦岗军围困住。在推翻隋朝统治的过程中，瓦岗军起了重大的作用。《隋唐演义》和《说唐》两部小说中所写的瓦岗寨故事，就是以瓦岗军历史素材作为依据的。不过，小说又进行了许多渲染和虚构，因此和历史真实情况有很多地方不同。