이인형·이의형·이영·이현·이허·이응성을 추모하기 위한 서원이다. 매헌 이인형(1436∼1498)은 조선 전기 문신으로 김종직의 제자이다. 세조 1년(1455) 진사시에 합격했으나 젊은 나이에 벼슬하는 것이 교만한 성품을 기른다 하여 벼슬에 나아가지 않았다. 그 뒤 세조 14년(1468)에 장원급제하여 여러 관직을 거치고, 그가 세상을 떠난 후 예조판서의 직함을 얻었다. 조선 현종 10년(1844)에 세운 위계서원은 고종 6년(1869)에 흥선대원군의 서원철폐령으로 없어졌다가 1966년에 다시 세웠다. 1963년에는 이제·이규·이예형·이지형의 위패를 추가로 모셨다. 앞면 5칸·옆면 3칸 규모로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔
