平定陳友諒以後，吳王班師回應天休整了半年多，就開始準備對付東邊那個老冤家——張士誠。
張士誠趁朱元璋忙於西線上與陳友諒作戰，無暇東顧之機，蠶食了朱元璋很多州縣，南起紹興，北至通泰，高郵、淮南、泗州，東北至濟寧，甚至連朱元璋的家鄉濠州都被張士誠奪去。張士誠的城池一下多了幾十個，疆域幾乎翻了一番。真是小人得志猖狂，他也就驕傲自大起來。認為朱元璋也不過爾爾，便令群臣歌功頌德，並公開向元朝皇帝邀功封王，遭到朝廷拒絕，他就狂妄自大地自封吳王，於是江南就出現了兩個吳王的局面。
張士誠自封吳王后，遂在平江（蘇州）大修官第王府，封其弟張士信為左丞相，女婿潘紹元為參謀。張士誠成天只知紅燈酒綠，花天酒地，過著紙醉金迷的生活。其他一切政務都交給弟、婿二人做主。這兩個人更是荒淫無度，享樂腐化。手下更有黃敬夫、蔡彥夫、葉德新三個親信，在平江城欺壓百姓，無惡不作，老百姓一個個切齒痛恨。當時平江百姓和軍中，廣泛流傳著一歌謠：“丞相張太爺，想建千秋業，賢能他不用，專寵黃蔡葉，欺壓老百姓，壞事全作絕，一朝西風起——乾癟。”
吳王召集大臣商議如何進攻張士誠，現在吳王的力量是今非昔比，誰都清楚對付張士誠現在是綽綽有餘，所以，文武百官一聽說對付張士誠大家都摸拳擦掌，紛紛言，大家七嘴八舌，莫衷一是。吳王見了忙說道：“這樣好了，還是請先生說說在軍事上如何佈署和進攻。”
劉伯溫說道：“關於張士誠的情況，大家都很清楚，我們容忍他已很久了，現在是集中精力來解決張士誠的問題的時候。消滅張士誠我們不能用對付陳友諒的辦法來對付他，對付陳友諒我們是集中優勢兵力打殲滅戰，現在張士誠兵力比較少，也比較弱，而且也相對分散，所以我們採取‘分而治之，各個擊破’的辦法來進行。從現在起，我們進入徵東時代，我們去徵東，一定要作到‘師出有名’，我已把討伐張士誠的檄文寫好，罪狀有八條之多，現請吳王過目，如果沒有異議，就廣泛抄寫，四處張貼，以張我軍之正氣。”
吳王接過一看，只見檄文寫道：
惟茲姑蘇張士誠，為民則私販鹽貨，行劫於江湖，兵法則聚兇徒，負固於海島，其罪一也；
恐海隅一區，難抗天下大勢，詐降於元，坑其參政趙璉，囚其待制孫為，其罪二也；
厥後掩襲浙西，兵不滿萬數，地不足千里，僭稱改元其罪三也；
初寇我邊，一戰生擒其親弟，再犯浙省，揭矛直搗其近郊，尾畏縮，乃又詐降於元，其罪四也；
陽受元朝之名，陰行假王之令，抉制達丞相，謀害楊左丞，其罪五也；
佔據江浙，錢糧十年不貢，其罪六也；
知元綱已墜，公然害其丞相達識貼木兒、南臺大夫普化貼木兒其罪七也；
恃其地險食足，誘我叛將，掠我邊民，其罪八也。
凡地八罪，理宜征討，以靖天下，以濟斯民。
丙午年十月
吳王覽畢，連聲叫好說道：“好，檄文寫得很好，簡明扼要，這樣我們就出師有名了。馬上刻印五千張，廣泛張貼。我再重申一下軍紀：‘此行毋妄殺，毋亂掠，毋丘壟，毋毀廬舍，毋毀損士誠母墓，違令有刑。’這是輿論方面的準備，我們具體行動怎麼作呢？”
劉伯溫拿出一張地圖掛在屋中央繼續說道：“我們作法是分三步走：第一步先派兵從北面向東推進，攻佔泰州、高郵、徐州、淮安、宿州、濠州、泗州，把這些原屬我們的州縣全部奪回來，進一步把東吳北邊淮河下游地區的州縣一一攻下，第二步把平江南面的湖州、杭州、海寧、嘉興、常熟、無錫逐一攻下，叫平江變成一座孤城，把張士誠的水師圧迫而龜縮在太湖北部，然後一舉殲滅其水師，平江就不攻自破了。一旦平江變成一座孤城，張士誠就成了甕中之鱉，就可以不戰而下。所用時間力爭在一年之內。”
吳王聽了十分高興，遂遣徐達為大將軍，常遇春為副將軍，率兵二十萬，直取淮東。
大軍所至，勢如破竹，遂下泰州，圍高郵。張士誠也學乖了，使出圍魏救趙的辦法，他不派人去救高郵，而是派了數百艘船，沿江而上，來攻江陰，江陰守將吳楨、吳良弟兄嚴陣以待，吳王朱元璋聞訊親率兵來救江陰，恰逢張士誠士兵攻城，城內外一番夾擊，張士誠舟師腹背受敵，大敗而去，生俘士兵兩千餘人。徐達見江陰獲勝，遂努力攻高郵，一鼓而下。徐達常遇春又馬不停蹄攻淮安，張士誠派徐義帶水師來援，徐達派常遇春去打援，他自己則照常攻淮安，常遇春一遇徐義，一夜將其擊潰，並奪戰船百餘艘，徐義連夜逃走，淮安守將梅思祖見狀，只好出城投降，並獻所屬四縣。徐達遂還師攻興化，也是一鼓而下，至此淮東遂平。劉伯溫的第一步戰略構想在半年之內按期完成。北面只有濠州一座孤城沒有收復。
吳王朱元璋派韓政、顧時領兵兩萬前去取濠州，濠州守將李濟帶兵堅守，韓政、顧時架起雲梯，炮石輪番攻擊，毀壞無數城牆。城中百姓自然暗中幫助韓政、顧時，李濟見孤城難守，只得開城出降。
吳王元璋見濠州收復，遂帶領濠籍將士第三次還鄉祭祖掃墓，又將朱氏陵園和皇覺寺重新進行修整，置守陵人二十戶，並招集濠州父老，社會名流前來飲宴，吳王向父老鄉親表演說道：“我離濠州時間長，轉戰四方，現在終於又回來了，歸省墳墓，與父老子弟重新相見。但我苦不能久留，只能與父老暢飲盡歡，希望家鄉父老率子弟躬耕田地，蔚然成風，一鄉安，我在外地也就心安了。”
吳王臨行時，覆命免除濠州租稅，一州百姓皆歡欣鼓舞。
吳王回到應天，覆命徐達、常遇春率二十萬人殺進太湖，準備進攻平江，搗毀張士誠老巢。吳王、劉伯溫密授計于徐達、常遇春，叫他們臨行時帶上前張士誠降將熊天瑞同行，假裝襲平江，來到太湖中，熊天瑞果然逃歸張士誠，報信去了，徐達常遇春忙帶兵直撲湖州。吳王同時令李文忠向杭州前進，華雲龍向嘉興前進，杭、嘉二處自然不敢貿然來援湖州。湖州就成了一座孤城。
太湖裡突然一下添了二十多萬水師，這幫水師都是常遇春帶領的鄱陽湖大戰出來的人，一個個如狼似虎，張士信的五萬水師一觸即潰，因為常遇春有神機營的佛郎機炮逞威，這些東西他們見所未見，聞所未聞，常遇春的水師一入太湖，如入無人之境，把張士信的水師壓迫在太湖北岸。剛開始張士信還是用老經驗辦事，領著水師四面八方殺來，想利用太湖他們地形熟，就遠用弓箭，近用刀槍來攻擊常遇春的水師，誰知他們船剛一出現，就被佛郎機炮連船帶人一起轟翻入湖中；再近些就挨雙筒槍所傷，張士信的水師哪裡見過這個場面？第一仗張士信就損失過萬，生俘尹義、陳旺、石清、汪海等人。張士信趕緊帶著殘部向太湖北邊逃去，龜縮在湖北的覃東、胥口一帶。
徐達奮勇前進，直至湖州城郊三里橋。
湖州守將張天麟被張士誠封為右丞，率領偏將黃寶、陶子寶守城，防止徐、常二位將軍來攻湖州。當常遇春領兵來到湖州城城下，黃寶出城迎戰常遇春，剛交戰不上三合，就被常遇春隔開槍，輕舒猿臂，將黃寶活捉過去，拋在地上，眾士兵一擁上前捆綁而去。張天麟在城上看得真切而明白，口中說道：“朱元璋手下有如此虎將，難怪張士誠的城池丟得那麼快！”
隨後徐達大兵來到城下，把湖州團團圍住，張天麟在城上望見城外旌旗林立，把湖州被圍得如鐵桶一般，張天麟見了肝膽俱裂，五臟如焚，兵無鬥志，將無守心，人心惶惶。張天麟也沒有辦法，回府後只得借酒澆愁。
這時，張士誠又派呂珍、朱暹和五太子領兵六萬來援湖州，兵扎城東，大有城內外夾擊徐達、常遇春之勢。
徐達和常遇春商量，認為兵不能扎一地，應像攻淮安一樣，攻城和打援應分工合作。仍然由徐達領兵十萬攻城，常遇春分兵十萬打援。
兩軍既相互呼應，又可防敵夾擊，免遭腹背受敵之險，靈活機動。
常遇春把兵帶到姑嫂橋，連忙在各要隘之地，建立了十個營壘，各留守卒萬人和一強將把守。呂珍和常遇春是一對老冤家，他們在淮東多次交手，總是以呂珍失敗而告終。這一次呂珍特別小心，他也不敢輕進，就在城東設立五寨與常遇春相持。常遇春也變得乖巧起來，不與之正面交鋒，只派出探子注意打探呂珍的糧道運輸。一天，得到訊息：張士誠的女婿潘元紹運糧來烏鎮，常遇春馬上派廖永忠夜裡突然襲擊烏鎮，將所有糧草全部奪過來。潘元紹因跑得快，才沒有被活捉。
潘元紹連夜逃回平江報信，張士誠調太湖水師徐志堅帶上兩萬人來攻擊姑嫂橋，常遇春聽到這個訊息，就令部將沈進、扈華各領兵埋伏於姑嫂橋的左右兩側，專等徐志堅到來。
徐志堅在黃昏時分到達姑嫂橋，上岸立寨。剛到初更時分，風雨驟至，徐志堅全部人馬正進入夢鄉，不料常遇春的沈、扈二將突然從四面八方殺至，徐志堅不知是怎麼回事就束手就擒。
張士誠急派在淮安吃敗仗的那個徐義領赤龍船親兵來援姑嫂橋，常遇春連派王銘領著神機兵去攻擊赤龍船，赤龍船沒有防備，霎那間佛郎機炮怒吼起來，赤龍船一下變成了赤火船，呼啦一下全部燒起來，徐義這個倒黴蛋只好乘小船逃之夭夭。
五太子氣憤不已，把所有兵船開來孤注一擲要與常遇春決一死戰。常遇春就和五太子大戰起來。
這時，薛顯、王銘帶著神機營四面八方把五太子圍住，薛顯、王銘正好在上風，這一下五太子就吃大虧了，他的兵船紛紛被機炮擊中，被火燒得七零八落，五太子趕快逃進大營，喘息了好久，才回過神來，嘆道：“厲害，厲害！這是他孃的什麼炮，打在哪裡就是火海一片！我現在明白了，為什麼陳友諒六十萬人在鄱陽湖只跑脫了三個人！”
五太子、呂珍、朱暹三人在一起商量破敵辦法，商量了好一陣，誰也拿不出好主意，大家面面相覷，你看著我，我看著你，說話都支支吾吾的。還是五太子爽快，他對二人說道：“算了，你們大家都不好開口，還是我來說吧，這個仗我看沒法打了，陳友諒六十萬人都全軍覆滅，我們區區六萬人還能打過徐達、常遇春二十萬人？你看我去攻擊人家，好幾百條船，一萬多人，轉眼就報銷了。我看這個仗不能打了，再打下去，我們剩下的五萬人將會被全部殲滅，為了拯救這五萬條人命，就讓我一人來作個不忠不孝的人吧！救了五萬條性命，功德無量，就算讓我一人下地獄我也心甘情願。讓菩薩明鑑：我不是怕死的人。”
呂珍站起來邊搓手邊說：“五太子的話我完全同意。說真的，大王對我恩重如山，我實在不忍心背叛他，但這五萬條性命比起大王來，那就更為重要些。我和常遇春打過多年仗，我一次也沒有贏過他，何況那時我們還很強盛。今天情況更不同了，這仗再打下去就會全軍覆滅，我們東吳到今天是氣數已盡了。”