为翟让骁勇不寻常，于是在夜里悄悄对翟让说：“翟法司，天时人事，也许是可以预料的，哪能在监狱里等死呢？”翟让又惊又喜，说：“我翟让，是关在圈里的猪，生死只能听从黄曹主的吩咐了。”黄君汉当即给翟让打开枷锁，翟让再三拜谢说：“我蒙受您的再生之恩得以幸免，但黄曹主您怎么办呢？”于是下泪来。黄君汉发怒：“我本以为你是个大丈夫，可以拯救黎民百姓，所以才冒死来解救你，你怎么却象儿女弟一样以涕泪来表示谢呢？你就努力设法逃脱吧，不要我了！”于是翟让逃亡到瓦岗为盗。与他同郡的单雄信，骁勇矫健，擅长骑使矛，他招集年轻人去投奔翟让。离狐人徐世家在卫南，十七岁，有勇有谋，他劝说翟让：“东郡对于您和我都是乡里，那里的人大都认识，不宜去侵犯抢掠他们。荥、梁郡，是汴经的地方，我们抢劫行船，掠夺商人旅客，就足以自给。”翟让同意他的建议，于是就率众荥、梁郡的境界，抢掠公私船只，因此供给充裕，来归附的人越来越多，徒众达一万余人。时又有外黄王当仁、济王伯当、韦城周文举、雍丘李公逸等皆拥众为盗。李密自雍州亡命，往来诸帅间，说以取天下之策，始皆不信。久之，稍以为然，相谓曰：“斯人公卿弟，志气若是。今人人皆云杨氏将灭，李氏将兴。吾闻王者不死，斯人再三获济，岂非其人乎！”由是渐敬密。

当时还有外黄人王当仁，济人王伯当，韦城人周文举，雍丘人李公逸等都聚众为盗。李密从雍州逃亡后，就往来于各首领之间，向他们游说夺取天下的谋略。开始大家都不信，时间长了，他们渐渐相信了，五相说：“此人是公卿弟，有这样的志气、抱负，现在人们都说杨氏将灭，李氏将兴，我听说能成王业的人不会死，此人多次能渡过难关，难他就是将成帝业的李姓人吗？”于是他们渐渐敬重李密。

密察诸帅唯翟让最，乃因王伯当以见让，为让画策，往说诸小盗，皆下之。让悦，稍亲近密，与之计事，密因说让曰：“刘、项皆起布衣为帝王。今主昏于上，民怨于下，锐兵尽于辽东，和亲绝于突厥，方乃巡游扬、越，委弃东都，此亦刘、项奋起之会也。以足下雄才大略，士锐，席卷二京，诛灭暴，隋氏不足亡也！”让谢曰：“吾侪群盗，旦夕偷生草间，君之言者，非吾所及也。”

李密观察各统帅，只有翟让势力最，于是由王伯当引见见到了翟让，他为翟让谋划策，去游说劝导诸小盗贼，他们都归附了翟让。翟让很兴，渐渐信任李密，与他商议事情。李密趁机劝翟让说：“刘、项羽都平民而作了帝王，如今上面是皇帝昏庸，下面是百姓怨愤，锐兵力都在辽东丧失了，突厥也断绝了和亲的关系，炀帝还在巡游扬、越一带，丢弃了东都，现在也是刘、项羽之辈奋起的机会。以您的雄才大略，兵的良，可以席卷东西二京，诛灭暴君，隋氏完全可以灭掉！”翟让向李密推辞说：“我辈为群盗，旦夕都在草丛之间偷生，你所说的，不是我辈所能想到的。”

会有李玄英者，自东都逃来，经历诸贼，求访李密，云“斯人当代隋家。”人问其故，玄英言：“比来民间谣歌有《桃李章》曰：‘桃李，皇后绕扬州，宛转园里。勿狼语，准许！’‘桃李’，谓逃亡者李氏之也；皇与后，皆君也；‘宛转园里’，谓天在扬州无还日，将转于沟壑也；‘莫狼语，谁许’者，密也。”既与密遇，遂委事之。前宋城尉齐郡房玄藻，自负其才，恨不为时用，预于杨玄之谋，变姓名亡命，遇密于梁、宋之间，遂与之俱游汉、沔，遍诸贼，说其豪杰；还日，从者数百人，仍为游客，于让营。让见密为豪杰所归，从其计，犹豫未决。

正好有个叫李玄英的人从东都逃来，经过了各盗贼，以求访李密，并说：“此人当替代隋家坐天下。”别人问他缘故，李玄英说：“近来民间有一叫《桃李章》的歌谣，歌谣唱：‘桃李，皇后绕扬州，宛转园里。勿狼语，谁许！’‘桃李’，是说逃亡的人是李氏之；皇与后都是君主；‘宛转园里’指的是天在扬州不会有回来的日了，将会死无葬之地；‘莫狼语，谁许’是密的意思。”不久他遇到李密，于是就投靠李密。原宋城县尉齐郡人房玄藻，自恃自己的才学，恨自己不能为当政的人所赏识任用，他曾参与过杨玄的谋，后来改名换姓逃亡，在梁郡、宋城之间遇见了李密，于是就和李密遍游汉、沔之地，遍访各贼帅，游说其中的豪杰之士。从汉、沔之地返回来的时候，跟从他们的有几百人，他们仍作为游客，留在翟让的营寨内。翟让看见豪杰们都归附李密，想采纳李密的建议，但仍犹豫不决。

有贾雄者，晓占候，为让军师，言无不用。密结于雄，使之托术数以说让；雄许诺，怀之未发。会让召雄，告以密所言，问其可否，对曰：“吉不可言。”又曰：“公自立恐未必成，若立斯人，事无不济。”让曰：“如卿言，蒲山公当自立，何来从我？”对曰：“事有相因。所以来者，将军姓翟，翟者，泽也，蒲非泽不生，故须将军也。”让然之，与密情好日笃。

有个叫贾雄的人，通晓占卜，他是翟让的军师，翟让对他是言听计从。李密与贾雄结为。他让贾雄假借占卜之术去劝说翟让，贾雄答应了，想好了主意但还没说来，正好翟让召见贾雄，把李密的建议告诉贾雄，问他是否可以采纳，贾雄回答：“吉不可言。”又说：“您自立为王恐怕未必能成功，要是拥立此人，事情就没有办不成的。”翟让说：“象你说的那样，蒲山公应当自立，为什么他又来投奔我呢？”贾雄回答：“有些事是有相互联系的，李密所以来投奔你，是因为将军您姓翟，翟是泽的意思。蒲草非泽则不生，所以崐他需要将军您。”翟让认为贾雄的话很对，他与李密的情日益密切。

密因说让曰：“今四海糜沸，不得耕耘，公士众虽多，无仓廪，唯资野掠，常苦不给。若旷日持久，加以大敌临之，必涣然离散。未若先取荥，伏兵馆谷，待士充，然后与人争利。”让从之，于是破金堤关，攻荥诸县，多下之。

李密就劝翟让说：“如今国内沸腾，百姓不得耕耘，您兵虽多，但吃粮没有仓储，只靠外抢掠，常常苦于供给不足，若是旷日持久，加之大敌临，众必然会离散，不如先攻取荥，休兵取仓储之粮，待兵壮，然后再与他人争夺利益。”翟让听从了他的意见，率军攻破了金堤关，而攻打荥郡各县，大多数县城都被攻破。

荥太守郇王庆，弘之也，不能讨，帝徙张须为荥通守以讨之。庚戌，须引兵击让，让向数为须所败，闻其来，大惧，将避之。密曰：“须勇而无谋，兵又骤胜，既骄且狠，可一战擒也。公但列陈以待，密保为公破之。”让不得已，勒兵将战，密分兵千余人伏于大海寺北林间。须素轻让，方陈而前，让与战，不利，须乘之，逐北十余里；密发伏掩之，须兵败。密与让及徐世、王伯当合军围之，须溃围；左右不能尽，须跃复救之，来往数四，遂战死。所兵昼夜号哭，数日不止，河南郡县为之丧气。鹰扬郎将河东贾务本为须之副，亦被伤，帅余众五千余人奔梁郡，务本寻卒。诏以光禄大夫裴仁基为河南讨捕大使，代领其众，徙镇虎牢。

荥太守郇王杨庆是杨弘的儿，不能率军讨伐翟让，炀帝调张须陀为荥通守去讨伐翟让。庚戌（二十七日），张须陀率兵击翟让，翟让从前几次都被张须陀所击败，他听到张须陀来，大为恐惧，打算避开张须陀。李密说：“张须陀有勇无谋，他的军队又屡次取胜，既骄傲又凶狠，可以一仗就把张须陀擒住。您只要摆好阵势等待官军，我保证为您打败官军。”翟让不得已，率兵准备战，李密分一千余士兵埋伏在大海寺北面的树林里。张须陀素来轻视翟让，他将军队列成方阵前。翟让与张须陀战，战败，张须陀追击败兵十余里，李密发动伏兵掩杀官军，张须陀兵败。李密与翟让以及徐世、王伯当等合兵一将张须陀包围。张须陀突破重围，但他的将没能全冲包围，张须陀又跃冲包围圈去救援，这样来回几次，张须陀战死。他所士兵昼夜号哭，几天不止，黄河以南的郡县都为之沮丧。鹰扬郎将河东人贾务本是张须陀的副将，也受了伤，他率领剩下的五千多人逃到梁郡，贾务本不久也去世了。炀帝诏命光禄大夫裴仁基为河南讨捕大使，替代张须陀统领他的下，迁到虎牢镇守。

让乃令密建牙，别统所，号蒲山公营。密分严整，凡号令士卒，虽盛夏，皆如背负霜雪。躬服俭素，所得金宝，悉颁赐麾下，由是人为之用。麾下士卒多为让士卒所陵辱，以威约有素，不敢报也。让谓密曰：“今资粮足，意还向瓦岗，公若不往，唯公所适，让从此别矣。”让帅辎重东引，密亦西行至康城，说下数城，大获资储。让寻悔，复引兵从密。

翟让于是命李密建立自己的营署，单独统帅自己的众，号称蒲山公营。李密理众纪律严明，凡是号令士卒，虽然是在盛夏，士卒们似背上负有霜雪般的寒意。李密衣着节俭朴素，获得的金宝，全都颁赐给了下，因此人们都愿为他效力。他下的士卒很多人被翟让的众欺辱，但因为李密束严格，无人敢行报复。翟让对李密说：“如今军资粮大致够用，我打算返回瓦岗，您若是不去，那就随你所便了，我从此就与你分手了。”翟让带着辎重向东而去，李密也向西来到康城，劝降了几座城池，获得了大量的军资粮。不久，翟让就后悔了，他又率兵来跟随李密。