作为西汉历史上出名的荒淫无道的皇帝李贺，在外在位时间仅有27天被废。回到封地昌邑国继续任昌邑王。虽然刘贺被废返回封地，可刘贺还是让新任皇帝刘询非常忌惮，刘询多次派人调查刘贺，又在之后削去刘贺三千户食邑，几年后刘贺便去世了。

前64年，汉宣帝派使者张敞监视刘贺，张敞分条禀奏刘贺平日行为，说明他的废亡之状，称刘贺有奴婢一百八十三人，常年关着大门，只开小门出入，只有一个廉洁的差役领取钱物到街上采买，每天早上送一趟食物进去，此外不能进出。

前66年，刘贺已经二十六岁，因为一直被囚禁的关系，刘贺患上风湿病，走路不方便，张敞还用猫头鹰去试探刘贺。张敞将刘贺的妻子儿女、奴婢、财物等上报给刘询，还建议将刘贺身边的歌女、舞女等人送回家。

前63年，刘询给刘贺晋封为海昏侯。侍中、卫尉金安上书说：“刘贺是上天抛弃的人，陛下至仁，又封为列侯。刘贺是个愚顽废弃之人，不应该奉行宗庙及入朝行朝见天子之礼。”刘询听取了大臣的建议将刘贺调配到了封国豫章。

几年后，故太守卒史孙万世问刘贺，“从前被废时，为什么不坚守不出宫，斩大将军，却听凭别人夺去天子玺印与绶带呢?”刘贺说：“是的。错过了机会。”孙万世又认为刘贺将在豫章封王，不会久为列侯。刘贺说：“将会这样，但不是应该谈论的。”刘贺这些话很快就传到刘询的耳朵里，刘贺随即被官兵俘虏。之后，刘贺被刘询削去三千户食邑，没多久就去世了。