有的史书说，努尔哈赤参加了明军，作战勇敢，得到辽东总兵李成梁赏识。有的史料甚至说，努尔哈赤做了李成梁的随从和侍卫，两人关系密切，“情同父子”。这段从军经历，使努尔哈赤增长了军事才干。不过，有人认为，努尔哈赤没有从军，与李成梁也没有密切关系。
在明朝前中期，东北地区的女真族各部落臣服于朝廷，基本上风平浪静；到了明朝后期，由于政府腐败，国力衰落，朝廷对东北地区的控制力下降，东北地区便暗流涌动，开始混乱起来。
明朝推翻了元朝统治，将蒙古势力驱逐到漠北，但始终没有解决好蒙古问题，双方长期为敌。蒙古军队多次南下侵扰明朝，也时常袭击东北地区的女真部落。女真部落开始分化，有的依附了蒙古，有的依然忠于明朝，各部落之间也相互争斗。
努尔哈赤的外祖父王杲，掌管建州女真右卫，势力较强。他见明朝势力衰弱，便率部反叛，袭击抚顺，杀死守备彭文洙，在抚顺城大肆抢掠。明朝辽东副总兵黑春率军平叛，却被王杲打败，黑春被杀。王杲率部犯辽阳，劫孤山，略汤站，前后杀死明将数十人，声势大振。
明朝在东北地区采取的政策是，凡是女真各部之间的战争，一概放任不管，任其互相杀戮；凡是公开反叛明朝的，则坚决予以镇压。辽东总兵李成梁调集重兵，平息了叛乱，将王杲俘获后凌迟处死。
努尔哈赤的祖父觉昌安，当时是建州左卫指挥使，他与王杲虽然是亲家，但安分守已，没有参加叛乱。努尔哈赤当时十六岁，对外祖父的惨死悲痛不已。
王杲的儿子阿台侥幸逃脱，逃到古勒城，召集旧部，休整兵马，过了几年，恢复了一些实力。阿台为报父仇，频繁袭击明军。女真族另一部落首领尼堪外兰，是图伦城主，他忠于明朝，时常与阿台发生战争。
公元1583年，尼堪外兰与明军联合，包围了古勒城，打算彻底消灭阿台，古勒城面临一场浩劫。努尔哈赤的祖父觉昌安、父亲塔克世，一直老老实实，与朝廷关系不错，便向李成梁建议，进城劝说阿台投降，同时也是为了救出自己的孙女。李成梁同意了。
觉昌安父子与阿台是亲戚，在他们的劝说下，阿台答应投降。不料，尼堪外兰求功心切，趁其不备，突然设计攻破城池。明军大举入城，展开疯狂屠杀，杀死居民两千多人，觉昌安、塔克世、阿台均遭杀害。
噩耗传来，努尔哈赤悲愤交加，质问李成梁：“我祖父、父亲何罪之有？为何被杀？”李成梁理屈词穷，只得说是误杀。李成梁归还努尔哈赤祖父、父亲的遗体，赐他敕书三十道，马三十匹，封他为龙虎将军，以示安慰。
努尔哈赤怒气未消，要求惩办罪魁祸首尼堪外兰，李成梁不答应。尼堪外兰为明朝立下功劳，被封为“满州国主”。尼堪外兰为了斩草除根，下令追杀努尔哈赤。
这个时候，建州三卫已经分裂崩溃，部众离散。努尔哈赤的家里，只剩下祖父、父亲遗留下的十三副胄甲。于是，二十五岁的努尔哈赤，怀着满腔悲愤，凭借十三副遗甲，聚集起数十人，毅然起兵。
从此，努尔哈赤开始了他征战沙场的一生，创造了非凡的英雄传奇。
努尔哈赤起兵的第一个目标，是重振建州女真，为创立大业奠定坚实的基础。