三年春，沙钵略再率各可汗兵南犯。四月上旬，杨坚下达“清边制胜”诏令，命卫王杨爽等为行军元帅，率隋军主力20万分道反击突厥，以从根本上击破沙钵略，稳固北部边防。隋军先后在白道(今内蒙古呼和浩特西北)、高越原(今甘肃武威北)、灵州(治回乐，今宁夏灵武西南)、和龙(今辽宁朝阳)等地各个击败突厥各部，并乘机说服阿波可汗归隋，进一步促成突厥内乱，使沙钵略与阿波等相互攻战不止。四年春，达头降服于隋。秋，沙钵略因屡为隋军所败和阿波军不断攻击，也向隋求和称藩。隋军反击突厥获胜，北部边患基本消除，解除了南下灭陈的后顾之忧。

隋文帝加紧灭陈准备。继续推行均田制和租调力役制，在中央建立三省六部制，在地方推行州、县制，改革府兵制等措施，以利于发展社会经济，加强中央集权，提高军队战斗力。又经过几年励精图治，国力、军力显著增强。七年，杨坚君臣多次谋议灭陈之策，决定采纳高颎、虢州刺史崔仲方等人的建议，根据长江地理形势与陈军分散守备之特点，实行多路进兵而置重点于长江下游的部署;在战前多方误敌、疲敌，破坏其物资储备，欲乘敌疲惫懈怠之机，然后突然渡江，东西呼应，一举突破取胜;在长江上游大造战船，加强水师;向江南大量散发诏书，揭露陈后主之罪，以争取人心。

八年十月，隋文帝在寿春(今安徽寿县)置淮南道行台省，以晋王杨广为行台尚书令，主管灭陈之事。命杨广、山南道行台尚书令杨俊、清河公杨素为行军元帅，高颖为晋王元帅长史，右仆射王韶为司马，集中51.8万人的水陆军，统由杨广节度，从长江上游至下游，分8路攻陈。十二月，隋军发起攻灭陈朝的大规模作战。杨素率舟师出巴东郡(治今四川奉节东)顺江东下，与荆州刺史刘仁恩军相配合，一举袭占狼尾滩(今湖北宜昌西北)，继而攻克岐亭、延洲(今长江西陵峡口、湖北枝江附近江中)，击破上游陈军防御。由公安(今湖北公安西北)东撤之陈军也被杨俊军阻于汉口(今湖北汉水入长江之口)以西，为下游隋军主力进攻陈都建康(今南京)，创造了有利形势。

九年正月，下游隋军主力乘陈朝欢度元会(即春节)之机，分路渡江。行军总管韩擒虎、贺若弼两军配合钳击建康，至行军总管宇文述军占据石头(今南京城西清凉山)，隋军主力已完成对建康的包围。随后，贺若弼军与陈军主力激战于白土冈(今南京城东)，陈军全线溃退。韩擒虎军首先进入建康城，俘陈叔宝。杨广入城后，令陈叔宝以手书招降上游陈军。吴州(治吴县，今江苏苏州)、湘州(治今长沙)等地陈将拒降，二月间均为隋军击破。岭南数郡共奉高凉(今广东阳江西)冼夫人为主，保境拒守。隋派使臣安抚岭南，杨广亦命陈叔宝致书冼夫人，劝其归隋。冼夫人以其孙率众迎接隋使，岭南诸州悉为隋地。至此，结束了东晋以来270余年南北分裂的局面，完成了隋文帝统一南北的大业。

隋灭陈后，在江南地方推行抑制士族豪强的政策，引起士族豪强势力不满。他们利用隋欲移民关中的流言，乘机煽动民众叛隋。十年十一月，婺州(治金华，今属浙江)汪文进、越州(治会稽，今浙江绍兴高智慧、苏州沈玄侩等;均举兵叛隋，并自称天子。乐安(今浙江仙居)蔡道人、温州沈孝彻、泉州(治今福州)王国庆等，亦自称大都督，起兵响应，杀官吏，攻州县，致使原陈故地多数皆反。隋文帝遂命内史令杨素为行军总管领兵攻讨。杨素率水陆军，分路进击，逐个歼灭，至次年春，所有叛军均被消灭，江南遂安。