东山书院坐落在祁门县城东秀墩山下，这里自古就是一处揽胜之地，其三面岗峦起伏，前临阊水。若夕阳时登高处俯瞰梅城，尤有置身于霞光万道之中，城内亭台楼阁，掩映其间，蔚为壮观，故有“东山夕照”之称，为“梅城十二景”之一，难怪古人曾有诗赞道：“近对千家夜悬月，高凌百雉听更楼。双桥左右溪前拱，两水朝宗足底流。”
    书院内原建有仰圣坊、风教堂、文公祠、养浩斋、吟风弄月亭、观景楼等。这些建筑分布得错落有致，间以峭石云梯和雕花石栏，使建筑物与花木山石点缀交融。这些坊、堂、祠、楼依山就势，布局奇特。内植的花木名称更是令人叫绝，如有取梅城之意而植的古梅株，名为“先百花”，有平旷之地漫播的牡丹、芍药，名曰“红香坡”；有“土山便登眺，松柏立其上”的“寒翠墩”；有用来分岭隔墙的各种花木，称作“分花岭”；有诱人通幽，折磴转梯的花巷墙栏，名日“环香峡”等。无一不体现出设计者的独具匠心和意境，此外尚有“天番云外馆”、“野薇坞”、“文镜池”、“琅玕坳”……。
    东山书院自明代建立以来，历经兴废和沧桑。中间曾一度更名为环谷书院，明万历四十四年(1616)重修后，还名东山书院。清咸丰初(1852右)曾遭兵燹，同治二年(1863)重修。明、清两代，祁门县中进士及第者六十余人，中举人及笫者二百余人，除小部分出自他乡外，而绝大部分均为东山书院培养。书院创建的宗旨，虽为封建统治阶级兴贤育士，然其在传播文化，振兴地方教育事业也起过一些积极的作用。光绪三十二年(1906）在全国兴新学的浪潮中弃旧图新，改为高等小学堂，影响也是十分深远的。后来，由于种种原因，书院日趋败落，院内建筑惨遭损毁。直至七十年代，才土木再兴，改建成教师进修学校。