刘邦晚年宠爱戚姬及其子赵王如意，疏远吕后，几次想废黜吕后所生的太子刘盈(惠帝)而立刘如意，但因大臣反对，只好作罢，为了皇权的巩固，刘邦费尽心机，本来他年龄就大，在平定英布叛乱时又中了箭伤，到了长安病情加重，吕后找来名医，刘邦问他病情，医生说能治，刘邦一听口气，就知道不会好了，气得大骂医生：“以布衣提三尺剑取天下，此非天命乎?命乃在天，虽扁鹊何益!”说完赏赐给医生五十金打发他走了。
吕后看着弥留中的刘邦，问他死后人事的安排：“萧相国死后，由谁来接替呢?”刘邦说曹参，吕后问曹参之后是谁，刘邦说：“王陵可以在曹参之后接任，但王陵智谋不足，可以由陈平辅佐，陈平虽然有智谋，但不能决断大事，周勃虽然不擅言谈，但为人忠厚，日后安定刘氏江山肯定是他，用他做太尉吧。”吕后又追问以后怎么办，刘邦有气无力地说：“以后的事你不会知道了。”
刘邦驾崩于公元前195年，即高祖十二年的四月二十五日(6月1日)，享年六十二岁，葬于长陵(在今陕西咸阳)，谥号为高皇帝，庙号是太祖，葬于长陵。
长陵，位于西安市中心以北约20公里、咸阳市以东约20公里的窑店镇三义村北，1988年，国务院将其列为全国重点文物保护单位，长陵又名“长山”，是汉高祖刘邦与皇后吕雉(吕后)的陵墓。
刘邦死后，群臣议定的庙号是“太祖”，谥号是“高皇帝”，正式的全称为“汉太祖高皇帝”，简称庙号应该是“汉太祖”，简称谥号则是“汉高帝”，而不是人们习惯称呼的“汉高祖”。
《史记·卷八 高祖本纪第八》曰：“丙寅，葬。己巳，立太子，至太上皇庙。群臣皆曰：高祖起微细，拨乱世反之正，平定天下，为汉太祖，功最高。上尊号为高皇帝。太子袭号为皇帝，孝惠帝也。令郡国诸侯各立高祖庙，以岁时祠。”
