当时张士诚已经占据常州，挟制江东叛将陈保二以水师攻镇江。徐达在龙潭将其击败，然后请求增兵围攻常州。张士诚遣将来援，徐达因为敌人既狡猾又强大，强攻不易，便在城外二处设伏等待，另外派将领王均用为奇兵，徐达则亲自督军作战。敌军撤退时遇上埋伏，徐达军将其击败，抓获张、汤二将，进兵围攻常州，第二年将它攻克。徐达晋升为佥枢密院事。继而攻占宁国、宜兴，派前锋赵德胜攻下常熟，擒获张士诚之弟张士德。
第二年复攻宜兴，将其攻克。朱元璋亲自率军进攻婺州，命徐达留守应天，另外派兵袭击天完守将赵普胜，将其打败，收复池州。徐达升为奉国上将军，同知枢密院事。进而攻安庆，自无为出发，沿陆地行走，趁夜袭击浮山寨，在青山打败赵普胜的部将，攻克潜山。回师镇守池州，与常遇春设下埋伏，在九华山下将陈友谅打败，斩首万人，生擒三千。常遇春认为“：这是一支劲旅，不杀的话，将会成为后患。”徐达不同意，便将此事报告朱元璋。而常遇春则抢先在夜里活埋被俘者过半，朱元璋闻此不悦，将其余的人全部释放。于是朱元璋开始命徐达全面统辖其他将领。陈友谅进犯龙江时，徐达率军伏于南门外，与诸将奋力拼杀，将其打败，乘胜追到慈湖，将其船只烧毁。
第二年，徐达跟随朱元璋征伐陈友谅，攻取江州。陈友谅逃往武昌，徐达率军追击。陈友谅出动战舰到沔阳，徐达在汉阳沌口扎营遏制。这时徐达晋升为中书右丞。一年后，朱元璋平定南昌，降将祝宗、康泰反叛，徐达率沌口驻军将其讨平。不久跟随朱元璋支援安丰，打败吴将吕珍，然后包围庐州。当时正遇陈友谅围攻南昌，朱元璋召徐达从庐州前来会师，与陈友谅军在鄱阳湖遭遇，陈友谅军非常强大，徐达身先士卒，率军拼力奋战，将敌前锋打败，杀一千五百人，获一巨舰。朱元璋知道此敌可破，而又担心张士诚内犯，马上连夜派徐达还守应天，自己亲率诸将鏖战，最后击毙陈友谅。第二年，朱元璋称吴王，以徐达为左相国。徐达再次引兵围攻庐州，攻克此城，连下江陵、辰州、衡州、宝庆诸路，平定湖、湘。应召返回后，率常遇春等巡行淮东，攻克泰州。吴人攻陷宜兴，徐达回军援救，将其收复。又引兵渡江，攻克高邮，俘获吴将士千余人。会合常遇春攻淮安，在马骡港打败吴军，守将梅思祖以城投降。进而攻破安丰，俘获元将忻都，赶走左君弼，尽得其运输船只。元兵侵犯徐州，徐达率军迎击，大败元兵，俘获斩首数以万计。淮南、淮北全部平定。
回师之后，朱元璋与群臣商议征吴之事，右相国李善长请求暂缓，徐达则说“：张氏无能而苛刻，大将李伯升之辈徒拥子女玉帛，容易对付。处理事务的黄、蔡、叶三参军，都是书生，不知大计。臣蒙主上威德，率大军前去进攻，平定三吴，便计日可待。”朱元璋听后大为高兴。便拜徐达为大将军，平章常遇春为副将军，率水师二十万人直逼湖州。敌人三路出击，徐达也分三路军应战，另外派兵扼其归路。敌人战败回逃，不能入城，只得返回作战，徐达大败敌军，擒获将吏二百人，包围湖州城。张士诚派吕珍等率军六万前来援救，驻屯旧馆，修筑五寨以自固。徐达让常遇春等建造十座堡垒加以围阻。张士诚又亲率精兵来援，徐达在皂林大败其军，张士诚逃走，遂攻克升山水陆寨。五太子、朱暹、吕珍等都投降，徐达巡行城下，湖州投降。然后攻下吴江州，从太湖进围平江。徐达驻扎葑门，常遇春驻扎虎丘，郭子兴驻扎娄门，华云龙驻扎胥门，汤和驻扎阊门，王弼驻扎盘门，张温驻扎西门，康茂才驻扎北门，耿炳文驻扎城东北，仇成军驻扎城西南，何文辉驻扎城西北，筑成长墙围困城中之敌。架木塔与城中佛塔同高，另外筑台三层，俯视城中，装置弩弓、火筒。台上又装置大炮，大炮所击之处都被炸成粉碎，城中为此大震。徐达派人向朱元璋请示，朱元璋下诏慰劳他说：“将军谋勇绝伦，故能遏制各地兵乱，削弱群雄。今日你事必禀明受命，这表明了将军的忠诚，对此我非常赞许。不过将领在外带兵打仗，君主不加干涉。军中缓急，将军可根据情况，选择有利时机采取行动，我不宜控制。”不久，徐达攻取平江，捉拿张士诚，押送应天，俘获强兵二十五万。在平江城即将被攻克时，徐达与常遇春相约说：“军队入城，我军扎营城左，你军扎营城右。”又命令将士道：“抢劫百姓财物者死，毁坏百姓房屋者死，擅自离营二十里者死。”入城之后，吴人安然如故。还师之后，徐达被封为信国公。
不久徐达又拜为征虏大将军，以常遇春为副将军，率步骑二十五万，北取中原，朱元璋亲自在龙江为这次征讨举行祭神仪式。当时能称作名将的人，首推徐达、常遇春。两人才勇相当，都为朱元璋所倚重。常遇春剽悍、急躁，作战勇敢，而徐达擅长谋略。常遇春攻下城邑后不能做到毫无杀戮，而徐达所到之处，从不骚扰百姓，如果俘获壮士与间谍，便与他们以恩义结交，使他们为己所用。因为这样，许多人都乐意归附大将军。因此，朱元璋传谕诸将：指挥军队必须持重有纪律；而带兵作战，攻城略地，为将之道，徐达堪为楷模。又告诉徐达，进取方略，应当从山东开始。徐达率军而行，攻克沂州，招降守将王宣。进一步攻克峄州，王宣重新反叛，徐达便将他击杀。攻下莒、密、海诸州，然后派韩政分兵扼守黄河。张兴祖攻取东平、济宁，而自己率大军攻取益都，攻下淮、胶等州县。济南投降，徐达分兵攻取登、莱，齐地全部平定。
洪武元年(1368)，朱元璋即皇帝位，以徐达为右丞相，册立皇太子，以徐达兼太子少傅。副将军常遇春攻克东昌，会师济南，击斩乐安反叛者。然后徐达还军济宁，引水师溯黄河而上，直趋汴梁，守将李克彝逃走，左君弼、竹贞等投降。于是从虎牢关进入洛阳，与元将脱因帖木儿大战于洛水之北，元将兵败逃走。梁王阿鲁温以河南投降，徐达率军平定嵩、陕、陈、汝等州，然后直捣潼关。李思齐逃往凤翔，张思道逃往鹿阝城，徐达率军入关，西到华州。
捷报传来后，太祖巡幸汴梁，召徐达到其住所，摆酒设宴慰劳，并与他商议北伐之事。徐达说：“我大军平定齐鲁，扫平河洛，王保保徘徊观望；潼关已克，李思齐之辈狼狈西逃。元朝声援已绝，现在我们乘势直捣元都，便可以不战而取。”太祖听后赞道“：你说得对。”徐达进一步说“：元都攻克后，如果其主向北逃走，我军要不要继续追击呢？”太祖说：“元朝国运已衰，即将自行灭亡，不必烦劳军队去追击了。你们出塞之后，固守封疆，防止他们侵袭便可以了。”徐达顿首领命。于是与副将军常遇春会师河阴，派遣副将分道巡行河北之地，连下卫辉、彰德、广平。军队临时驻扎临清，派傅友德开辟陆路使步骑通过，派顾时疏通河道使水师通行，然后引兵向北。常遇春已克德州，与徐达合兵攻取长芦，扼直沽，搭浮桥让军队过河。水陆并进，在河西务大败元军，进一步攻克通州。元顺帝携后妃、太子向北逃走。一天后，徐达陈兵齐化门，填濠登城。监国淮王帖木儿不花、左丞相庆童、平章迭儿必失、朴赛因不花、右丞张康伯、御史中丞满川等拒不投降，徐达便将他们斩首，除此之外，没杀一人。然后命人封闭府库，登记书籍、宝物，并命指挥张胜带领一千士兵看守宫殿门，让宦官看护那些宫人、嫔妃、公主，严禁士兵侵扰欺凌她们。城中官民安居乐业，店铺照常营业。
捷报传来，太祖下诏以元都为北平府，设置六卫，命孙兴祖等留守，而命徐达与常遇春进取山西。常遇春先下保定、中山、真定，冯胜、汤和攻下怀庆，越过太行，攻取泽、潞，徐达率大军随后跟进。当时扩廓帖木儿正引兵出雁门，将由居庸进攻北平。徐达知道后，与诸将商议道“：扩廓率军远行，太原必定空虚。北平有孙都督在，足以御敌。现在我们乘敌不备，直捣太原，使其进不能战，退无所守，这就是攻击敌人的要害和虚弱之处。如果扩廓西还自救，我们就能将他擒获。”诸将听后都说“：说得对啊。”于是，徐达引兵直趋太原，扩廓到保安，果然返回援救。徐达挑选精兵夜袭其营，扩廓率十八名骑兵逃跑。徐达尽降其部众，攻克太原。又乘势收取大同，分兵巡行还未攻下的州县，山西全部平定。
二年(1369)，徐达引兵向西渡河，到达鹿台，张思道逃走，于是攻克奉元。当时常遇春攻下凤翔，李思齐逃至临洮，徐达会集诸将商议军队的进攻方向，诸将都说“：张思道的才能不如李思齐，而庆阳又比临洮易攻，请求先攻庆阳。”而徐达则说“：你们说得不对，庆阳城险而兵精，如果突然进攻，不容易攻取。而临洮北接河、湟，西控羌、戎，获得此城，其人便可利用来增强战斗力，物产也足以提供军队的物资粮饷。如果以大军进逼，李思齐不弃城逃走，他就是束手待擒了。临洮攻克后，邻郡还能存在么？”于是率军渡陇，攻克秦州，攻下伏羌、宁远，进入巩昌，派右副将军冯胜进逼临洮，李思齐果然不战而降。然后分兵攻克兰州，击走豫王，全部缴获其部队辎重行李。回军出萧关，攻下平凉，张思道逃往宁夏，被扩廓所捉，其弟张良臣以庆阳投降，徐达派薛显受降。张良臣重新反叛，趁夜出兵袭击，打伤薛显。徐达督军包围张良臣叛军，扩廓遣将前来援救，徐达率军迎击，将其打败逃走，于是攻取庆阳，张良臣父子投入井中，便将其拉出斩首，陕西之地全部平定。太祖下诏，徐达班师回朝，赏赐丰厚的白金和丝绸。
将要论功大封时，正遇扩廓兵攻兰州，杀指挥使，副将军常遇春此时已死，因此，三年(1370)春，太祖又以徐达为大将军，平章李文忠为副将军，分路出兵。徐达自潼关从西路出击，直捣定西，攻打扩廓。李文忠自居庸从东路出击，横穿沙漠，追击元嗣主。徐达兵至定西时，扩廓退驻沈儿峪，徐达挥师逼近。双方隔沟而垒，一天之内交战数次。扩廓派精兵从小路出发，进攻东南垒，左丞胡德济仓惶失措，军中惊扰，徐达率军将扩廓击退。胡德济是胡大海的儿子，徐达因为他是功臣之子，便将他戴上镣铐送往京城，而将他手下指挥斩首数人以示众。第二天，整顿军队，进兵夺沟，殊死作战，大破扩廓军，擒获郯王、文济王及国公、平章以下文武官属一千八百六十余人，将士八万四千五百余人，马匹、骆驼等牲畜数以万计。扩廓仅携妻子、儿女数人逃往和林。胡德济被押至京城后，太祖释放了他，却又写信告诉徐达：“将军仿效卫青不斩苏建之事，难道你没看见穰苴是怎么对待庄贾的吗？将军杀了他，也便罢了。今天到朝廷商议此事，我且念他在信州、诸暨所立之功，不忍将他处死。从今以后，将军对这类事情不要再妄加姑息了。”
徐达打败扩廓之后，立即率军从徽州南一百八渡到略阳，攻克沔州，进入连云栈，进攻兴元，将其攻克。而副将军李文忠也攻克应昌，俘获元帝嫡孙妃嫔、公主及将相。捷报先后传到朝廷，太祖下诏令劲旅返回京城，并亲自在龙江迎接、慰劳。然后下诏大封功臣，授徐达为开国辅运推诚宣力武臣，特进为光禄大夫、左柱国、太傅、中书右丞相参军国事，改封为魏国公，年禄五千石，给予世袭凭证。第二年，徐达率盛熙等赴北平操练兵马，修筑城池，将山后军民迁移到各卫府，设置二百五十四屯，垦田一千三百余顷。该年冬天，徐达应召返回京城。
五年(1372)，太祖又大举发兵征讨扩廓，徐达作为征虏大将军从中路出发，左副将军李文忠从东路出发，征西将军冯胜从西路出发，各率五万骑兵出塞。徐达派都督蓝玉在土剌河击败扩廓。扩廓与贺宗哲合兵力拒，徐达战而不利，死者数万人。太祖因为徐达功劳大，所以对此未予追究。当时李文忠军也作战失利，引兵返回。唯独冯胜到西凉，获得全胜，却因隐藏骆驼、马匹而获罪，太祖对他未予奖赏，这些事情全部载入了《李文忠传》、《冯胜传》。第二年，徐达又率领诸将前往边疆，破敌于答剌海，然后还军北平，驻留三年才返回。十四年(1381)，又率汤和等征讨乃儿不花。不久，又返回镇守北平。
徐达每年春天率军出征，晚冬又应召返回，习以为常。回京之后，总是把大将印章上交皇帝，皇帝赐他休假，设宴畅饮，与徐达以布衣兄弟相称，而徐达却对皇帝更加恭敬谨慎。皇帝曾从容对徐达说“：徐兄功劳很大，至今却还没有一个安宁的住处，我可以将旧邸送给你。”旧邸是太祖做吴王时居住的宫邸。徐达坚决推辞。有一天，皇帝与徐达一起到旧邸去，硬让徐达喝酒喝醉，然后让人给他蒙上被子，抬到正室睡觉。徐达醒后，大吃一惊，慌忙跑下台阶，俯伏在地高喊死罪。朱元璋从旁窥视，看到他这么害怕，非常高兴。于是命令有关官员在旧邸前为徐达建造府宅，并在宅前立坊题上“大功”二字。胡惟庸当丞相时，想结交徐达，徐达很轻视此人，不予理睬，胡惟庸便贿赂徐达的看门人福寿，让他对徐达图谋不轨，福寿揭发了他，徐达也不予追究，只是时时向皇帝进言说胡惟庸不能胜任丞相之职。后来胡惟庸果然失败，朱元璋为此更加重视徐达。十七年(1384)，太阴侵犯上将，朱元璋心中憎恶。徐达在北平患了背疽，稍好一点时，皇帝派徐达的长子徐辉祖携带他的亲笔信前往慰问，不久应召返回。第二年二月，徐达病重死去，终年五十四岁。皇帝为此停止临朝听政，发丧时悲恸不已。追封徐达为中山王，谥号武宁，赠其子孙三世都为王爵。赐葬于钟山之阴，御制神道碑文。徐达配享太庙，肖像功臣庙，都位列第一。
徐达言简虑精，在军中，令不二出，在诸将面前总是保持令人遵从的严肃样子，而在皇帝面前却恭敬谨慎，好像不会说话似的。徐达善于安抚部下，能与他们同甘共苦，士兵对他无不感恩，以死相报，所以，徐达军能所向披靡。徐达对部队要求非常严格，所平元都二个，省会三个，郡邑数以百计，各地街巷井然有序，百姓从不为军旅所苦。率军归朝之日，徐达总是陋车简舍，礼邀儒生，终日高谈，气氛和谐。皇帝曾称赞他说：“受命而出，成功而归，不骄傲，不自夸，妇女无所爱，财宝无所取，行为正派无疵，品德高尚可与日月相比，这只有大将军徐达一人堪当于此。”
徐达有四子：辉祖、添福、膺绪、增寿。长女为文皇帝皇后，次女为代王妃，三女为安王妃。
常遇春，字伯仁，怀远人。相貌奇伟，勇力绝人，长臂善射。开始跟随刘聚为盗贼，后来发觉刘聚终将无所作为，便在和阳归附朱元璋。朱元璋还未到和阳时，常遇春因困倦躺卧田间，梦见有一神人披甲拥盾在叫他“：起来，起来，主君到了。”常遇春从梦中惊醒，而朱元璋正好经过，常遇春当即迎拜，当时是至正十五年(1355)四月。由于尚无寸功，常遇春自请为前锋。朱元璋说道“：你只不过是因为饥饿来寻找食物，我怎么能将你留下呢？”常遇春仍坚决请求。朱元璋便说道“：等到渡江之后，你再来为我效力也不迟呀？”等到朱元璋军队进逼牛渚矶，元兵列阵矶上，朱元璋军船离岸三丈多，没人能登上岸。常遇春飞舟而至，朱元璋命他向前冲击，常遇春领命，挥戈直冲向前。敌兵抓住他的戈，常遇春乘势一跃，跳上石矶，大声喊叫冲入敌阵，元军望风而逃。诸将乘胜上岸攻击，于是攻克采石，攻取太平。常遇春被授以总管府先锋，晋升为总管都督。
当时，朱元璋将士的妻子儿女及辎重都在和州，元中丞蛮子海牙再次以水师袭据采石，使朱元璋军回和州的道路中途被阻。朱元璋亲自率军进攻，派常遇春到处布兵迷惑敌人，分散敌人的兵力。两军会合后，常遇春操纵轻舟，将海牙的船队一分为二，然后从左右两侧猛攻，将其大败，尽获其船，江路重新畅通无阻。随即汤和受命驻守溧阳，跟随朱元璋进攻集庆，功劳最大。后随元帅徐达攻取镇江，进取常州。吴兵将徐达围困在牛塘，常遇春前去援救，破敌解围，擒获敌将，晋升为统军大元帅。攻克常州，升为中翼大元帅。又随徐达进攻宁国，被飞箭射中，他裹住伤口之后坚持战斗，攻克宁国。另外攻取马驼沙，以水师攻取池州，晋升为行省都督马步水军大元帅。又随徐达攻取婺州，转任同佥枢密院事，驻守婺州。常遇春调兵围攻衢州，首先派奇兵突入围绕南门外的小城，毁掉敌人的战具，然后发动猛攻，将城攻破，俘获披甲之士万人，晋升为佥枢密院事。常遇春率军进攻常州，战斗失利，应召返回应天。跟随徐达攻取赵普胜的水寨，随守池州，大破陈友谅兵于九华山下，这些都记载于《徐达传》里。
陈友谅进逼龙湾，常遇春以五路军设下埋伏，大破陈友谅军，收复太平，功劳最大。朱元璋率军追击陈友谅至江州，命常遇春留守，他执法严格，城中军民井然守序，不敢有所冒犯，又晋升为行省参知政事。并随攻安庆，汉军出江四处拦截，常遇春率军出击，汉军慌忙调头逃跑，汤和等乘胜攻取江州，然后还守龙湾，兵援长兴，俘杀吴兵五千余人，敌将李伯升突围逃走。常遇春军受命加固安庆城。
在此之前，朱元璋所任用的将帅中功劳最大的，要数平章邵荣、右丞徐达与常遇春三人。而邵荣尤其是一位善战、有经验的老将，这时他已非常骄横，并有异心，与参政赵继祖图谋设伏兵发动兵变。事情败露之后，朱元璋想赦免邵荣的死罪，常遇春秉直说道：“为人之臣有了谋反的罪名，还有什么可以原谅的呢？我决不与其共生。”朱元璋于是赐邵荣喝酒，流着眼泪将其处死，因为这件事，朱元璋更加偏爱倚重常遇春。
池州守将罗友贤占据神山寨，私通张士诚，常遇春将其打败并斩首。又跟随朱元璋援救安丰，等到常遇春率军到达时，吕珍已经攻陷安丰，杀死刘福通，听说大军到来，便率强兵扼守，朱元璋左右军都进攻失败，常遇春横击敌阵，三战三捷，俘获士兵、马匹无数。然后跟随徐达围攻庐州。城将攻破时，陈友谅围攻洪都，常遇春应召返回。会师伐汉，与汉军在彭蠡的康郎山遭遇，汉军船大，又处于上流，前锋非常强大。常遇春协同诸将投入大战，呼声震天动地，无不以一当百。陈友谅的骁将张定边直冲朱元璋的指挥船，船已搁浅，朱元璋处境非常危险。常遇春射中张定边，朱元璋的船才得以脱险，而常遇春的船却又搁浅。这时，有一只坏船顺流而下，碰撞常遇春的船只，这才得以离开浅滩。转战三日，放火烧毁汉军船只，湖水因此变成了红色，陈友谅不敢再战。诸将认为汉军兵力仍然较强，想放他们离开，唯独常遇春不说话。等到船出湖口时，诸将正要放船东下，朱元璋却命令扼住上游。常遇春便溯江而上，诸将跟随其后。陈友谅走投无路，率百船突围。诸将半路拦截敌军，汉军于是分崩瓦解，陈友谅死。还师之后，常遇春功劳最大，朱元璋赏赐给他很多黄金、布帛、田地。攻武昌时，朱元璋返回应天，命常遇春留下督军围困武昌。
第二年，朱元璋即吴王位，晋升常遇春为平章政事。朱元璋又派兵进攻武昌，汉丞相张必先自岳阳来援，常遇春乘其还未会合，迅速进攻，将张必先擒获。城中士气尽失，陈理投降，常遇春尽取荆、湖之地。然后随左相国徐达攻取庐州，另外率军平定临江的沙坑、麻岭、牛陂等寨，擒获伪知州邓克明，攻下吉安。围攻赣州，熊天瑞固守不下。朱元璋派使者告诫常遇春：“攻克此城时，不要多杀人。如果获得了地盘，却没有老百姓，那又有什么好处呢？”于是常遇春疏通壕沟，设立栅栏，围攻赣州，屯兵六个月，熊天瑞兵力耗尽，于是投降，常遇春果然不杀他。朱元璋大为高兴，赐信褒奖勉励。常遇春于是凭借军威招降了南雄、韶州，回军时又平定安陆、襄阳。又随徐达攻克泰州，打败张士诚的援兵，督促水军在海安坝建造围墙阻拦敌军。
同年秋天，常遇春被授为副将军，率军伐吴。在太湖、毗山、三里桥打败吴军，进逼湖州。张士诚派兵来援，驻扎旧馆，出现在常遇春大军之后。常遇春率奇兵由大全港扎营东阡，更处于张士诚援兵之后。敌人派出精兵出击，常遇春率军奋力攻击，将敌兵打败。在平望袭击其右丞徐义，将其赤龙船全部烧毁，又败之于乌镇，向北追击至升山，攻破其水陆寨，将旧馆援兵全部俘获，湖州遂被攻下。进而围攻平江，驻军虎丘。张士诚偷偷率军靠近常遇春，常遇春与其战于北濠，将其打败，几乎俘获张士诚。时间一久，诸将攻破葑门，常遇春也攻破阊门进入平江，吴地平定。常遇春晋升为中书平章军国重事，封为鄂国公。
常遇春又被授为副将军，与大将军徐达一起率兵北征。皇帝亲自嘱咐他：“面对百万之众，击溃敌人精锐部队，攻陷敌人的坚固阵地，无人能比得上副将军。我不担心你不能打胜，而担心你轻战。你身为大将，好与兵卒角斗，这尤其不是我所期望的。”常遇春跪下拜谢。出发之后，以常遇春兼太子少保，随攻山东诸郡后，又攻取汴梁，进取河南。元兵五万军队陈兵洛水之北，常遇春单骑冲向敌阵，敌人二十多名骑兵手持长矛一齐刺向常遇春，而常遇春一箭将其前锋射死，大叫一声冲入敌阵，麾下壮士也跟随他向前冲去。敌兵大溃，常遇春追奔五十余里。降服梁王阿鲁温，河南郡县依次被攻下。常遇春到汴梁谒见皇帝后，与大将军徐达一起攻下河北诸郡。先锋攻取德州后，常遇春率水师沿黄河而进，破元兵于河西务，攻克通州，于是进入元都。另外攻下保定、河间、真定。
常遇春与大将军徐达一起进攻太原，扩廓帖木儿前来救援。常遇春对徐达说“：我军骑兵虽然已经聚集，但步兵还未赶到，突然与敌人发生战斗，一定会死伤很多，只有趁夜攻打才能获胜。”徐达说道“：你说得对。”这时正好扩廓的部将豁鼻马前来约定投降之事，便暂且请他作为内应，挑选精锐骑兵口含木片，悄悄出发去袭击敌人。扩廓当时正点着蜡烛学习军书，仓促之间不知所措，赤着一只脚，骑上一匹瘦弱的马，率领十八名骑兵逃往大同。豁鼻马投降，常遇春获得四万披甲之士，攻克太原。常遇春追击扩廓到忻州之后才返回。朱元璋下诏改常遇春为左副将军，位居右副将军冯胜之上。然后向北攻取大同，转而巡行河东，攻下奉元路，与冯胜军会合，向西攻占凤翔。
恰遇元将也速进攻通州，朱元璋下诏常遇春回军守备，让平章李文忠帮助他，率步骑九万，从北平出发，取道会州，败敌将江文清于锦州，败也速于全宁。进一步进攻大兴州，将一千名骑兵分别埋伏八处。当大兴州守将趁夜逃跑时，常遇春将他们全部擒获，于是攻克开平。元帝向北逃走，常遇春追奔数百里，俘获其宗王庆生及平章鼎住等将士万人，车万辆，马三千匹，牛五万头，以及敌人子女、宝货等物。常遇春率军返回，临时驻扎在柳河川时，暴病而死，年仅四十岁。朱元璋知道后，大惊，十分悲痛。在龙江举行葬礼，太祖亲自出奠，并命礼官就天子为大臣主持葬礼之事进行商议，商议结果上报太祖，沿用宋太祖追悼韩王赵普的先例。太祖下诏说“：可以。”赐葬于钟山平地，赐给金银器物九十件随葬墓中。赠封常遇春为翊运推诚宣德靖远功臣、开府仪同三司、上柱国、太保、中书右丞相，追封开平王，谥号忠武。常遇春配享太庙，肖像功臣庙，都位列第二。
常遇春性情深沉、勇猛、果敢，善于爱抚士兵，冲锋陷阵，从未吃过败仗。虽然没有学过典籍史书，但他用兵打仗却总是与古代兵书相符合。他比大将军徐达大二岁，屡次跟随徐达率军征讨，都非常认真地听从徐达的指挥，当时的名将首推徐、常二人。常遇春曾经自称能统领十万人马，横行天下，军中将士又称他为“常十万”。
常遇春的堂弟常荣，多次立功，升为指挥同知，跟随李文忠出塞，战死于胪朐河。常遇春有二子：常茂、常升。