朱元璋从此跟随郭子兴左右，屡立战功，逐渐成为郭子兴的亲信和得力将领。郭子兴还把养女马氏嫁给朱元璋为妻，马氏就是著名的大脚马皇后。
公元1353年，朱元璋回乡募兵，招收七百余人，从此有了自己亲手组建的部队。人数虽然不多，但都是朱元璋的同乡和少时伙伴，成为他的亲信。尤其是徐达、汤和、周德兴、郭英等人，后来成为天下名将，为建立明朝立下不朽功勋。
朱元璋以七百同乡士兵为骨干，很快扩充到两万多人，郭子兴任命他为将军。朱元璋带着自己的部队，南下滁州，开始独自发展势力。
朱元璋攻占了滁州、和州，作为自己的根据地，招兵买马，部队扩充到三万多人，又得到不少战将。更重要的是，定远名士李善长前来相助，为他出谋划策。李善长满腹计谋，堪比汉丞相萧何，为朱元璋平定天下立下大功。
在此期间，郭子兴的红巾军发生内讧，郭子兴被排挤，只得带万余人投奔滁州。朱元璋见老上司到来，立即交出兵权，让郭子兴统领所有部队。两年后，郭子兴病逝，朱元璋又重新掌管了部队。因此，朱元璋并没有继承郭子兴多大的遗产，而主要是靠自己发展起来的势力。
朱元璋在巩固滁州、和州地盘之后，渡过长江，向南发展，相继占领南京、芜湖、采石、宁国等地，控制了江左、浙右地区。朱元璋在南京设置元帅府，开始进行稳固根据地的工作。
当时，农民起义遍布全国各地，称王称帝的比比皆是，朱元璋的部下也纷纷建议他称王。谋士朱升却建议他“高筑墙，广积粮，缓称王”，劝他不要贪图虚名，而要埋头发展和巩固自己的势力。
朱元璋具有雄才伟略，他完全接受了朱升的建议，努力缓和与周边政权的关系，尽量避免对外作战，以保存实力。同时，兴修水利，发展经济，令军队垦荒屯田，使得府库充盈，军粮充足。朱元璋还整顿军纪，减轻税赋，救济穷人，收买人心。
与此同时，朱元璋广泛网罗人才，招贤纳士，为此专门修建了礼贤馆，以招待四方名士。著名人物刘伯温、常遇春、邓愈、冯胜、胡大海、廖永忠等一大批谋士武将，纷纷聚集到朱元璋的麾下。
这个时期，元朝军队主要是在北方与刘福通的红巾军作战，刘福通牵制了大批元军主力，这给了朱元璋一个很好的发展机会。元朝对付各地的起义军，采取了枪打出头鸟的策略，谁称王称帝就打谁。朱元璋既不称王，更不称帝，因而元朝也不去管他。
朱元璋不图虚名，只顾埋头发展自己的实力，同时广招人才，逐渐成为起义军中最强的一支，而且拥有了一大块根据地，势力无人能及。
后来，在各地起义军的打击下，元朝逐渐失去了对南方的统治，南方只剩下大大小小的起义军了。朱元璋见时机成熟，便主动出击，他要扫平江南群雄、统一南方，为日后夺取天下奠定坚实基础。