班固《汉书 霍光金日磾传》载：光即与群臣俱见白太后，具陈昌邑王不可以承宗庙状。皇太后乃车驾幸未央承明殿，诏诸禁门毋内昌邑群臣。王入朝太后还，乘辇欲归温室，中黄门宦者各持门扇，王入，门闭，昌邑群臣不得入。王曰：“何为?”大将军跪曰：“有皇太后诏，毋内昌邑群臣。”王曰：“徐之，何乃惊人如是!”光使尽驱出昌邑群臣，置金马门外。车骑将军安世将羽林骑收缚二百余人，皆送廷尉诏狱。令故昭帝侍中中臣侍守王。光敕左右：“谨宿卫，卒有物故自裁，令我负天下，有杀主名。”王尚未自知当废，谓左右：“我故群臣从官安得罪，而大将军尽系之乎?”顷之，有太后诏召王，王闻召，意恐，乃曰：“我安得罪而召我哉!”太后被珠襦，盛服坐武帐中，侍御数百人皆持兵，其门武士陛戟，陈列殿下。群臣以次上殿，召昌邑王伏前听诏。
皇太后诏曰：“可。”光令王起拜受诏，王曰：“闻天子有争臣七人，虽亡道不失天下。”光曰：“皇太后诏废，安得天子!”乃即持其手，解脱其玺组，奉上太后，扶王下殿，出金马门，群臣随送。
羽林骑是于太初元年(前104年)选六郡良家子组成，约七百人，亦属光禄勋。羽林骑原叫做建章营骑，因守卫建章宫而得名。后更名“羽林骑”，取“如羽之疾，如林之多”之意。羽林孤儿是由战死者的子弟组成的，因养在羽林官署，教习战射，而有此称号。
从上面一段描述，我们可以清晰地看到，霍光的老练与虚伪，一方面羽林卫早就藏在了皇太后的账后，如果皇太后不按照霍光的意思废除刘贺，恐怕下场就是血溅当场。另一方面，霍光又叮嘱手下，不要让刘贺自杀或者被杀，以防自己背上杀主之名。最后，皇太后刚说完话，就亲自动手，把刘贺的帝王玉玺夺了过来，并押解了出去。
这一天起，昌邑王刘贺没有了，世间只剩下了汉废帝——刘贺，为了斩草除根，霍光将刘贺的手下群臣两百余人统统斩首，并拥立新君继位。
在被逐出宫的那一天，陪在刘贺身边的只剩下了几个妻子和为数不多的仆人。或许是良心发现，也或许是与霍光的妥协。上官皇太后设法保住了刘贺的性命，她让刘贺返回了原昌邑王的封地，降级为山阳郡，并将原昌邑王的财产转封给了他，希望他至少过得衣食无忧。
