太祖又問及胡惟庸，劉基連連搖頭道：“不可不可，區區小犢，一經重用，僨轅破犁，禍且不淺了。”朱元璋默然無言。但是后來朱元璋還是根據李善長的推薦，任用了善于逢迎的胡惟庸。劉基嘆道：“惟庸得志，必為民害。”胡惟庸得知后，便對劉基忌恨在心。不過，后來的事實證明，劉基的話還是有道理的。

　　因李善長的提攜，胡惟庸于洪武六年，進入中書省，與汪廣洋同任右丞相，左丞相空缺。胡惟庸入相后，他的精明干練很快得到朱元璋的賞識。這期間，胡惟庸還將自己的侄女嫁給了李善長的弟弟李存義的兒子李佑為妻，結成姻親，使得他與李善長關系更進一步。有這樣的元老重臣為后盾，胡惟庸更加膽大妄為。加上李善長的舊屬們也極力幫助他，胡惟庸可謂如魚得水。由于他逢迎有術，漸得朱元璋寵任。到洪武十年，進左丞相，位居百官之首，獨攬丞相之權。

　　隨著權勢的不斷增大，胡惟庸日益驕橫跋扈，獨攬丞相大權，生殺黜陟，為所欲為。內外諸司所上的奏章，胡惟庸必先取閱，對自己不利的，就隱匿不上報。他任意提拔、處罰官員，各地喜好鉆營熱衷仕進之徒、功臣武夫失意者，都奔走于他的門下，送給他的金帛、名馬、玩好，不計其數。胡惟庸一時間權傾朝野，許多人都看他臉色行事，敢怒不敢言。

　　大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋

　　對于異己者，胡惟庸必定會打擊報復。之前，因入相問題，胡惟庸就與劉基有過節。恰恰甌閩間有一片空地名叫談洋，一向為鹽梟占據，劉基奏請設巡檢司進行管轄，鹽梟不服，反而糾眾作亂。劉基兒子劉璉將實情上奏，沒有事先向中書省報告。掌管中書省的胡惟庸認為劉基蔑視他，越加憤怒，于是唆使刑部尚書吳云彈劾劉基，誣稱談洋有王氣，劉基想據為己有，用來修墓，應嚴加懲處。朱元璋便對劉基奪俸，劉基憂憤成疾，沒過多長時間就去世了。

　　大將軍徐達對胡惟庸的擅權亂政，深惡痛絕，便把他的劣跡上告朱元璋。誰知竟被胡惟庸聞知，忌恨在心，企圖誘使徐達家的守門人福壽謀害徐達。但因福壽揭發，未能得逞。可見胡惟庸氣量狹窄、心計毒辣。

　　對于胡惟庸的所作所為，朱元璋也略有察覺，對他的擅權更是感到不滿。洪武十二年九月，又有阻隔占城貢使一事發生，胡惟庸等人未及時引見占城貢使，又與禮部互相推卸責任，朱元璋一怒之下，將他們盡行囚禁，不難看出，此時胡惟庸已經受到朱元璋的嚴重猜忌。就在這年十二月，又查出汪廣洋被賜死時，有個從死的妾陳氏，竟是獲罪后妻女并皆入官的陳知縣的女兒。朱元璋得知后，更為震怒，說道：“沒官婦女只給功臣家，文臣何以得給？”敕令法司要徹底追查此事，因此從胡惟庸以至六部堂屬各官都難辭其咎、負有罪責。此時胡惟庸的地位已岌岌可危了。

　　在胡惟庸已明顯失寵的情況下，大概是揣度到朱元璋的心理，洪武十三年正月，御史中丞涂節首先告胡惟庸謀反。與此同時，被謫為中書省屬吏的御史中丞商暠，也揭發了胡惟庸的許多隱私。

　　朱元璋接到告變后，立即命廷臣進行審訊，隨即就把胡惟庸處死了。告變人涂節，也因朝臣參劾說他本來準備參加謀反，因事不成才告變，連同胡惟庸和另一主犯，曾與汪廣洋一同參劾李善長的御史大夫陳寧，同時被殺。

　　罪名升級

　　洪武十三年，胡惟庸被處死后，胡惟庸案遠沒有結束，對于胡惟庸的罪狀一直都在搜集查證。

　　洪武十八年(1385)，有人告發李存義和他的兒子李佑，不僅是胡惟庸的至親，還曾經伙同胡惟庸謀逆。胡惟庸雖已被誅，李存義也必須連坐。這可是禍從天降，并且為禍不輕，李家揣揣不安。但是朱元璋對此事并未嚴懲，還特別下詔，李存義與李佑都免于死罪，只是被貶到崇明島閑住。可能是因為李善長為功臣元老，朱元璋念及舊情，因而特地從輕發落。按理李善長受到如此殊遇，應該上書謝恩，但是李善長對此事全然不予理會，這種態度令朱元璋感到非常不快。

　　胡惟庸案的查證一直都在繼續著，并且有了新的進展。洪武十九年(1386)明州衛指揮林賢通倭事發，經審訊得知，他是奉胡惟庸的命令下海通倭的，胡惟庸謀反案有了進一步的證明。洪武二十三年(1390)，又捉拿到奸人封績。封績本是元朝的舊臣，后來歸降于明，據說他經常往來于蒙、漢之間，曾經為胡惟庸給元嗣君送過信，胡惟庸在信中稱臣，并請元嗣君出兵為外應。其實早在洪武二十一年(1388)，大將軍藍玉出塞時，在捕魚兒海地方就捕獲過封績，但是由于李善長施加影響，并未上奏，就把封績給放了。直到這次，由于封績再次被捕入獄，李善長終于也被牽連進來了。

　　恰在此時，李善長為了娛老，大興土木，因缺少工人，向信國公湯和借用衛卒三百名，以供營建。以營卒為工役，這種事情本是常事。但湯和膽小怕事，又不敢得罪李善長，因而表面應允，暗中卻向朱元璋報告，這無疑是說李善長私自集結兵力。湊巧，京中吏民為黨獄誅累，坐罪徙邊，約有數百人，中間有一個叫丁斌的，為李善長私親，李善長便替他求免。由于朱元璋對李善長的猜忌之心日重，他不但沒有答應李善長的請求，反而命令將丁斌拿獲。經審訊得知，丁斌偏巧曾經供事胡惟庸家，于是供出不少李、胡兩家的往來之事。這樣，便認定了李存義、李佑父子伙同謀叛的罪狀，立即將他們從崇明島拘捕進京，重新審理定罪。

　　接著，朱元璋便頒布嚴敕說，李善長以“元勛國戚，知逆謀不舉，狐疑觀望懷兩端，大逆不道”。真是欲加之罪何患無辭！于是，七十七歲的李善長被賜死，其妻、女、弟、侄等一門七十馀人被殺。只有李善長的長子李祺及兩個兒子，因為臨安公主的緣故，得以免死，流徙江浦。

　　然而胡惟庸的獨斷專行，使相權與皇權的沖突更為明朗化了

　　與此同時，朱元璋又策劃陸仲亨的家奴告發陸仲亨與唐勝宗、費聚、趙雄三名侯爵，曾串通胡惟庸“共謀不軌”。一場“肅清逆黨”的政治運動鋪天蓋地而來，到處偵捕，牽連蔓引，共有三萬馀人被誅戮。連一向與胡惟庸關系疏遠的“浙東四先生”也未能幸免，葉昇以“胡黨”被殺，宋濂的孫子宋慎也牽連被殺，宋濂本人則貶死于四川茅州。