문항분석의 개념

문항분석

문항난이도(item difficulty)

 문항난이도란 문항이 쉽고 어려운 정도를 나타내는 지수로서, 문항에 대해 총 피험자 중 답을 맞춘 피험자의 비율로 나타낸다.

 문항난이도를 계산하는 공식은 다음과 같다.

                                        

(R : 문항의 답을 맞춘 피험자 수, N: 총 피험자 수)

즉, 1번 문항의 난이도가 .3이고, 2번 문항의 난이도가 .5라면 1번 문항이 2번 문항에 비해 어려운 문항이라고 할 수 있다.

Cangelosi(1990)는 문항난이도가 .25 미만이면 어려운 문항, .25 이상 ~.75 미만이면 적절한 문항, .75 이상이면 쉬운 문항으로 문항난이도에 의하여 문항을 평가하는 기준을 제시하였으나, 이 기준이 반드시 절대적이지는 않다.

능력이 낮은 학생들의 동기 유발과 상위 능력 학생의 성취감 고무를 위해 규준지향평가에서는 다양한 문항난이도를 가진 문항이 검사에 포함되도록 하는 것이 바람직하다. 준거지향평가에서는 문항난이도보다 문항이 준거에 부합하는지 아닌지를 더 중요하게 여긴다.

 

문항변별도(item discrimination)

 문항변별도란 문항이 피험자를 변별하는 정도를 나타내는 수치를 말한다. 어떤 문항에 대해 상위능력의 피험자는 정답을 맞추고, 하위능력의 피험자는 틀린 답을 했을 경우 이 문항은 피험자들을 제대로 변별하는 것이다. 그러나 이와 반대로 상위능력의 피험자는 틀린 답을 하고, 하위 능력의 피험자는 정답을 맞추는 문항은 상하집단을 제대로 변별하지 못하는, 즉 부적 변별력을 가진 문항이라고 할 수 있다.

 문항의 변별도 지수를 계산하는 방법에는 문항점수와 피험자 총점의 상관계수를 구해 변별도를 추정하는 방법과 두 집단간 정답 비율 차이에 의한 변별도 추정법이 있다.

 문항점수와 피험자 총점의 상관계수를 구해 변별도를 추정하는 방법

N : 총 피험자의 수          
X : 각 피험자의 문항 점수
Y : 각 피험자의 총점       

참고 - 변별도 구하기

두 집단간 정답 비율 차이에 의한 변별도 추정법
피험자를 상위집단과 하위집단으로 나눈 후 상위집단의 정답자 비율과 하위집단의 정답자 비율의 차이로 변별도를 추정하는 방법이다. 상위집단과 하위집단의 구분은 총 피험자수에 근거하여 피험자수가 같도록 집단을 구분하는 등 여러 방법이 있을 수 있는데, 가장 보편적으로 사용되는 것은 전체 학생수 중 상위 27%와 하위 27%의 학생들의 검사결과로 변별도 지수를 추정하는 것이다(Kelly, 1939).

R_U : 상위집단의 정답자 수
R_L : 하위집단의 정답자 수
N : 각 집단의 학생수    

문항에 대한 상위집단과 하위집단의 정답 및 오답 비율이 아래와 같을 때 변별도 지수를 구하라.

	정답	오답
상위집단	100	50	150
하위집단	60	90	150
	160	140

100명의 학생을 대상으로 50문항의 시험을 보았다. 아래 표는 상위집단과 하위집단이 1번과 2번 문항에서 정답과 오답을 한 빈도 분포를 나타낸 것이다. '문항 1'과 '문항 2' 중에서 변별도가 더 큰 문항과 난이도(difficulty)가 더 높은 문항을 묶은 것은? (2003년 임용고사 중등 교육학 기출문제)

	문항 1			문항 2
	정답	오답	계	정답	오답	계
상위집단	31	19	50	27	23	50
하위집단	10	40	50	11	39	50
계	41	59	100	38	62	100

	변별도	난이도
①	문항 1	문항 1
②	문항 1	문항 2
③	문항 2	문항 1
④	문항 2	문항 2

난이도(item difficulty)

① '한 문항의 어려운 정도', '한 문항에 학생들이 정답을 한 확률', '전체 응답자 수에 대한 정답자 수 비율' 등으로 정의된다.
② 난이도는 기본적으로 정답자 비율이기 때문에 이 값이 높을수록 쉬운 문항이다.
③ 문항난이도 공식 P = R/N × 100
(P : 문항곤란도, R : 해당문항에 대한 정답자수, N : 전체 반응자 수)

각 문항에 대한 문항 곤란도를 구해보면
문항 1 의 문항 곤란도  41/100 × 100 = 41%
문항 2 의 문항 곤란도  38/100 × 100 = 38%
문항 1의 문항 곤란도가 높게 나오므로 쉬운 문항이라 볼 수 있으며 2번 문항이 어려운 문항이라 볼수 있다.

변별도 (discrimination index)

① 어떤 문항이 그 검사가 측정하고자 하는 능력의 상하를 얼마나 잘 변별해 주는가의 정도를 의미한다.
② 문항 변별도를 개념화 하는 방법에는 전체 피험자를 상위 점수 집단과 하위 점수 집단으로 나누어 그 두 집단의 난이도의 차이로 구하는 방법과 각 문항 점수와 전체 점수의 상관 계수에 의하여 구하는 방법이 있다.