据《魏书·释老志》载，北魏孝文帝於太和十九年（西元四九五年）敕少室山为印度僧人跋陀立寺，寺名少林。孝昌三年（五二七年）菩提达摩至少林寺，在寺西山麓石洞中面壁九年，以四卷《楞伽经》教授学者，创立禅宗，传法慧可；所提倡的「见性成佛」，即「静坐默悟，明心见性」，与儒家宣扬的「修心养性」相契，风行海内，故而在佛教史上尊菩提达摩为中国禅宗初祖，慧可为二祖。慧可大师，洛阳人士，幼年出家，通晓儒、佛经典。四十岁礼达摩为师，得师精髓，承师遗志，恢宏达摩禅法，唐德宗追赐「大祖禅师」号，为中土禅宗第一人。
二祖庵坐北向南，长34米，宽28.5米。它原是一座完整的四合院，前有山门，东西有配殿，北有正殿。山门内供韦驮，亦称韦驮殿；西配殿内供紧那罗，亦称紧那罗殿；东配殿内供菩萨，亦称菩萨殿。山门及东西配殿早已毁，仅存正殿。正殿名二祖殿，为硬山式建筑，面阔三间，前檐下有明柱两根。
二祖殿殿内供二祖慧可塑像。二祖庵在明嘉靖、万历、天启、崇祯及清康熙、道光时曾修。1988年，又重修二祖庵大殿，1990年又在原山门处建门庭式简易门一座，并重建了围墙。[1]
大铁钟在二祖庵殿东檐下有明代天顺六年（1462年）正月铸造的大铁钟一口，为二祖庵住持僧江耐化缘铸造。大钟周围铸有铭文，钟重一千斤，有八唇，刻八卦。此钟至今保存完好，钟声响亮。
古井二祖庵院内有古井四眼。四眼古井传说为二祖慧可卓锡而成，因名“卓锡井”或“卓锡泉”。据旧志载，四井水味各异，故当地群众称之为“苦、辣、酸、甜”四眼井。四眼井实为人挖的井，卓锡得井仅为传说。金末元初杨奂“卓锡泉”诗云：“至今卓锡地，莹澈有遗泉。”明宣德二年（1427年），周鉴《游少林寺诗》有“山遗卓锡泉”。又明万历九年（1581年）王士性《嵩游记》载：“泉相去丈许，味各异。”由此，古井至迟凿于金末，最少有700年的历史。
其他庵内还保存明清古碑九通和古柏多株。二祖庵前有建于唐万岁登封元年（696年）的无名塔、元代泰定元年（1324年）的缘公庵主之塔以及明崇祯二年（1629年）的隐光璞公之塔等三座古塔。在二祖庵院内存有明嘉靖、万历、天启、崇祯及清康熙、道光石碑九通，都为记载重修二祖庵的碑刻。
庵南约500米处有一高突的山崖，《少林寺志》云为二祖慧可养伤“经行处”，又称“养臂台”、“炼魔台”，晴天在台上举目可望伊河、洛河和黄河。
2021年1月13日起，嵩山风景名胜区内少林寺常住院、初祖庵、二祖庵、法王寺、中岳庙等宗教场所暂停对外开放。[2]
