刘基说：“我与李善长之间是私事，我向陛下建议的，是国事，两者不能混为一谈。”
后来，李善长因病免相，朱元璋想让刘基做丞相。刘基极力推辞，说：“我太疾恶如仇了，又不耐烦处理繁杂政务，当不了丞相，陛下还是另选他人吧。”
朱元璋见刘基说得真切，也有道理，便问：“杨宪当丞相怎么样？”刘基与杨宪关系密切，朱元璋认为他一定会赞成的。
不料，刘基却说：“杨宪虽然有才，但气量不够，当丞相不合适。”
朱元璋又问汪广洋如何，刘基说，他的气量还不如杨宪，更不行。朱元璋接着问，胡惟庸怎么样？刘基说：“胡惟庸就像是匹劣马，迟早会把车弄翻的。”胡惟庸知道以后，对刘基怀恨在心。
朱元璋并没有听从刘基的意见，杨宪、汪广洋、胡惟庸三人先后都当了丞相，可是干得并不好。
公元1371年，刘基已经六十多岁了，想告老还乡，去过清静日子。朱元璋同意了，但此后经常给刘基写信，咨询大事。刘基每次都详细回答，然后将草稿烧掉。
刘基回归家乡以后，隐居山中，只是饮酒下棋，不与任何朝臣来往。当地的县令求见，被刘基拒绝。县令仰慕刘基，于是换上便衣，装成乡野之人去求见。刘基果然接见了他，但是，当得知他是县令之后，立即起身避开，不与他交谈。刘基是相当谨慎的。
刘基虽然谨慎，但仍不能避祸。不久，胡惟庸当上了丞相，他仍然记着刘基说过对他不利的话，蓄意进行报复。胡惟庸指使亲信诬告刘基，说刘基看好了一块墓地，扬言有王气，硬把百姓赶走，自己霸占下来。
朱元璋半信半疑，没有责备刘基，却减少了他的俸禄。刘基听说了此事，担心引起朱元璋猜忌，便入朝谢罪，住在京城，不敢回乡下了。
公元1375年年初，刘基患病，朱元璋命胡惟庸带御医前去医治。刘基服药之后，腹中出现一个像拳头大的硬块，十分难受。
两个月以后，刘基病情加重，自知不久于人世，便请求回乡。朱元璋准许，亲自撰文赐给刘基，并派专人护送刘基返乡。刘基回家一个月之后，病重去世，享年六十五岁。
《明史》记载说，刘基去世之前，将《天文书》交给儿子刘琏，嘱咐他送给皇帝，算是他最后的贡献。
刘基还对儿子说：“为政之道，要宽猛交替，当务之急在于修养德行，减省刑罚。那些战略要地，与京城遥相呼应，应该特别注意提防。我本想写一份详细的奏章，提醒皇上，可胡惟庸当权，这样做毫无用处。有朝一日胡惟庸下台以后，你把我的话密奏皇上。”
刘基在临死之前，还想着为朱元璋效力，可见他对朱元璋十分忠心。
有人说，刘基是被朱元璋害死的，或者是默许胡惟庸下毒，应该不是真的。因为刘基死的时候，朱元璋还没有开始大杀功臣呢。更重要的是，刘基无职、无权、无势力、无野心，对皇权构不成任何威胁，朱元璋杀他干什么？
在朱元璋的文臣当中，李善长的功劳最大，可他晚节不保，最后落了一个身死族灭的悲惨下场。