洪武八年（1375年）正月下旬，刘基感染了风寒，朱元璋知道了之后，派胡惟庸带了御医去探望。
御医开了药方，他照单抓药回来煎服用，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘基抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。
朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话，这使刘基相当的心寒。
三月下旬，已经无法自由活动的刘伯温，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。
回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。
几天之后，刘基自知来日无多，找来两个儿子交代后事。
交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。
如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。
平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的；而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。
不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧！”最后于农历四月十六卒于故里，享年六十五岁。
六月，葬于乡中夏中之原。
