公元588年，杨坚决定出兵江南、一统天下，几乎所有的大臣都赞同，并纷纷出谋献策。杨坚认为，进行灭陈战役，最关键的是渡江之战，只要渡过长江天堑，就可以稳操胜券。杨坚综合了谋臣的建议，决定采取声东击西、重点突破的战术。
杨坚在长江上游，造建战船，摆出一副顺江而下、直击南京的阵势，当年西晋灭掉东吴，就是这样干的。同时，在长江中游武昌一带，也部署了军队。这样，调动了陈军大部分兵力，去守卫长江中上游。而杨坚的真实意图，是想重点突破长江下游，突破了长江下游，就可以兵临南京城下，会给南陈一个致命的打击。
杨坚调集了五十一万八千人的大军，兵分八路，东临海滨，西至益州，千里之地，旌旗招展，声势浩大。杨坚把八路兵马分为三个集团，由杨坚的族弟杨素率两路兵马，负责长江上游作战；由杨坚三子杨俊率一部分兵马，负责长江中游作战；由杨坚次子杨广负责突破长江下游，直接攻打南陈的都城南京。各路大军统一归杨广指挥，杨广当时只有二十多岁，真正起作用的，是大臣高颎，高颎相当于杨广的秘书长。
杨坚在灭陈战役正式打响之前，还搞了一场心理战。杨坚颁布了一个诏书，列举了陈后主二十项大罪，号召江南民众协助隋军，共同推翻昏君。杨坚命人将诏书制作二十万份，在江南广泛散发，有效地削弱了南陈军民的反抗意志。
在一切准备好了以后，公元588年年底，杨坚下达了攻击南陈的命令。战斗首先从长江上游打响，杨素率军乘坐战船，顺江而下，到了今天湖北宜昌一带的虎头滩，遇到南陈军队拦截，双方开展激战，最终杨素获胜，首战告捷。
杨素率军继续东进，一路势不可挡。杨素到达武昌一带的时候，与杨俊率领的中路军汇合，声势更加浩大。南陈急忙调兵遣将，在长江上中游与隋军开展激战。
杨坚的作战意图是，在长江中上游牵制陈军主力，而真正的突破重点，是在长江下游。这个时候，长江上中游打得热火朝天，而长江下游却风平浪静。长江下游水面宽阔，渡江难度更大，隋军正在耐心等待，准备寻找最佳的突破时机。
没有想到的是，昏庸的陈后主给隋军帮了大忙。春节期间，陈后主打算在南京搞一个盛大的阅兵式，南京的军队不够用，就调长江下游的部分军队去参加阅兵式。将领们纷纷反对，陈后主恃着有长江天险，认为隋军飞不过来，因而对将领们的意见不予理睬。
杨广见长江下游防守空虚，心中大喜，令贺若弼、韩擒虎两员大将，立即抢渡长江。十分幸运的是，老天爷也来帮忙了，下起了大雾。隆冬时节，江面上雾气弥漫，看不清人影。隋朝大将贺若弼和韩擒虎两人，趁此良机，分别率军从江苏镇江和安徽采石一带渡江，一举突破长江天险，然后，从东西两路夹击南京，很快抵达南京城下。
陈后主听说隋军从天而降，慌了手脚，急令萧摩诃出城迎战。萧摩诃是南朝名将，有关羽再世的美名，他年近六旬，身经百战，经验丰富。当时，在南京的陈军，尚有十万之众。南陈有如此良将和众多军队，应该是能够抵挡一阵子的。
可是，陈后主又自作孽了，他听说萧摩诃最近新娶了一个漂亮的小妾，垂涎三尺，萧摩诃前脚刚领兵出战，他后脚就把小妾抢到自己宫中。萧摩诃闻报之后，自然恼怒心寒，无意作战，结果兵败，他自己也束手就擒，降了隋朝。南陈另一个带兵将领任忠，也向隋朝投降了。这样，南陈在南京附近的十万军队，就被隋军轻松消灭了。
隋军随即包围了南京城，奋力攻打，没费多大劲，就攻破城池，活捉了后主陈叔宝。南陈都城沦陷，皇帝被俘，长江上中游的陈军自然人心涣散，很快溃散了。
隋朝由于准备充分，计谋高超，只用三个月时间，就灭掉南陈，占领了南方大部分地区。可是，在岭南一带，还存在着一股不小的势力，这股势力的首领是一位女性。杨坚要想完全征服南方、一统天下，还需要收服这股势力。