六音山中原有云居寺一座，东为城子山，西为牛耳山，南望团山，夏季欲雨，常有云生其间，故有“云居”之意，此寺因此得名。

云居寺曾辉煌一时，建筑面积达1080平方米以上，以山门正殿为纵轴线，有山门一间，其左边有配房一间，右边有配房三间，沿石阶进山门，左碑右钟，碑为乾隆二十年立，名为乾隆二十年重修云居寺功德碑，高约3米；钟高约1.7米。正殿五间，歇山顶，灰瓦，五脊六兽有半拱，前为格扇木门窗，上棂下板。殿中正像是如来，侍童左右，东西两厢为十八罗汉，均为泥塑坐像。正像如来后有龛墙、转龛墙，为正殿后门。与正殿平行两侧为配房各三间，进深略小于正殿，左配房供伯夷、叔齐塑像，高约70厘米，右配房为禅堂，寺僧居住。

院北有井一眼，井口方形90×95厘米，井深约7.3米，水深约2.2米，井口条石燕榫，井筒上部为石砌，下部山石凿穿。井北即“覆石如夏”的石屏，“颠石屏”的小井已倾塌，不见原状，但至今小泉潺潺，终年不竭，据传小井为洗砚池，为夷齐读书洗笔砚之处，井西39米处的石壁上镌刻“夷齐读书处”五个字，字约50×40厘米，下面有款，多已模糊剥蚀，只存“已载……石门……”几字，可见年代亦已久远，据字体分析，源于殷商无据，先于明清可信，始建年代无载，据传此手迹乃出自唐朝韩愈之手。