藏经楼后有一座建筑精美的砖石照壁，壁后有一座高约八米，方圆百米的土丘，据说，这里是唐僖宗从长安逃到蜀中，“驻跸”于新都城北的行宫遗址。宝光寺历代僧从都把这里作为圣地，并以唐僖宗见紫霞涌聚，舍利放光而定名为紫霞山，一千多年来，紫霞山已成为宝光寺的代称。
紫霞山周围，原有古楠数十株，密集成林，苍劲挺拔，但每株各守疆界，树叶互不相扰，叹为霞山奇观。这批古楠，已于二、三十年前先后死去，在所见到的楠林，名布金林，是后来补植的。
从紫霞山后及东西两侧，一直延伸到山门，全是苍翠的竹木林园。漫步林园之中，空气清新，鸟鸣和谐，别有一番情趣。此外，两侧林园还有普同塔院和由本寺历代老和尚的骨塔所组成的塔林。
传说因山上常有紫色云霞覆盖，故名。今康乐街（瑞安剧院一带），古名“紫霞坊”，也是因山名街坊。明嘉靖三十五年（1556）十月，倭寇由闽北犯县境，瑞安守备刘隆曾督兵西山，题名于原石刻“紫霞山”三字下，今题名已剥蚀。
