江淹的一生可谓顺风顺水，一生并无大风大浪。虽小有坎坷，但是总归顺利的度过了难关。关于江淹的死，历史并没有详细的说明，只是一笔带过。江淹究竟怎么死的呢?

南朝齐永元二年(500年)，齐帝东昏侯萧宝卷荒淫无道，崔慧景举兵造反围攻京城建康，城内许多官员和士绅纷纷拿着名片投身于崔慧景，只有江淹谎称有病不去。叛乱平复之后，世人都佩服江淹有远见。此年江淹任职秘书监兼卫尉，谓人曰：“此非吾任，路人所知，正取吾空名耳。且天时人事，寻当翻覆。孔子曰：‘有文事者必有武备。’临事图之，何忧之有?”

永元三年(501年)，东昏侯杀害平乱功臣萧懿，导致萧懿之弟萧衍发兵攻打建康，拥立新主齐和帝萧宝融 。此年江淹调迁吏部尚书。后来萧衍带兵至新林(今江苏省南京市西南)，缙绅官僚并不看好萧衍，人人毫不在意，而江淹早已料到即将改朝换代，所以脱去官服，秘密投奔萧衍。萧衍授以冠军将军、秘书监之职，不久兼职司徒左长史。

南朝梁天监元年(502年)萧衍逼迫齐和帝让位，建立梁朝。江淹又在梁朝担任官职，转迁相国右长史。这已经是江淹为官的第三个朝代，这次他的官职是散骑常侍、左卫将军，并被封为临沮县开国伯，食邑四百户。江淹乃谓子弟曰：“我本来是清贫的官吏，不求富贵，如今忝窃，遂至于此。平生言止足之事，亦以备矣。人生行乐，须富贵何时。我功名既立，正欲归身田野。”同年又因病迁任金紫光禄大夫，进封醴陵侯。这时的江淹功成名就，非常满足。

天监四年(505年)，江淹逝世，享年六十二岁，梁武帝萧衍为他身穿素服致哀，礼遇极高，并追谥他为“宪伯”。江淹死后埋葬在江墓店(今民权县李堂南岳庄)。江淹的儿子江蒍承继爵位，官至长城令。普通四年(523年)，萧衍追念江淹的功绩，又封江蒍为吴昌伯。