컴퓨터화 검사

1. 컴퓨터화 검사의 등장• 컴퓨터화 검사란 간단히 말해 , 컴퓨터를 활용한

검사를 가리킨다 .

• 컴퓨터가 등장한 교육에서도 점점 보편적으로 사용되면서 이를 검사에서도 활용하려는 시도 또한 꾸준히 증가하고 있다 .

◆ 컴퓨터를 활용한 검사의 증가 이유 ① 평가의 타당성이 증가할 수 있다 . ─ 비언어적 정보를 해석하는 능력을 평가하는 시험의 경우 ② 표준화를 통해 신뢰도가 증가할 수 있다 . ─ 예를 들어 , 대화능력을 평가하는 경우 역할극보다

대화형 프로그램을 이용한 검사가 표준화가 높아져 신뢰가 증가할 수 있다 .

③ 얻을 수 없던 정보를 얻을 수 있다 . ─ 학생이 문제를 푸는 데 소요한 시간 , 문제를 풀기 위해

거친 과정 등 ④ 검사의 시행이 편리해진다 . ─ 일관성 , 정확성 , 신속성 등

2. 컴퓨터화 검사의 발달컴퓨터보조검사 (computer assisted testing)

컴퓨터이용검사 (computerized testing)

컴퓨터 개별적응검사 (computerized adaptive testing)

지속적 측정 (Continuous Measurement: CM), 지능적 측정 (Intelligent Measurement: IM)

+웹 기반 검사 (Web-based testing) 또는웹 기반 평가 (Web-based evaluation)

(1)컴퓨터보조검사 (computer assisted test-ing)

▶ 초기에는 지필검사를 채점하거나 분석할 때 편의를 위해 보조적인 역할로 주로 사용됨

▶ 검사의 채점과 결과 통보에 걸리는 인력과 시간 , 경비 등을 절약가능

▶ 결과의 저장도 매우 편리해짐

(2) 컴퓨터이용검사 (computerized testing) ▶ 종이와 연필 대신 컴퓨터 사용 ▶ 다양한 그래픽 자료와 음성 , 동영상 등이

포함된 새로운 유형의 문항이 등장 그 동안 측정되지 못한 능력 측정 가능

(3) 컴퓨터 개별적응검사 (computerized adaptive testing)

단순매체로만 컴퓨터를 활용하는 것을 넘어서 피험자의 능력이나 특성 수준에 적합한 문항들을 선별해서 이러한 문항들로만 구성된 검사를 개별적으로 실시하도록 해준다 .

정답 조금 더 어려운 문항 선별 제시

오답 보다 쉬운 문항 선별 제시

각 피험자의 능력에 적합한 최소한의 문항만으로 검사를 치를 수 있도록 한다 .

개인의 능력측정 , 관리

(4) 지속적 측정 (Continuous Measurement: CM),

지능적 측정 (intelligent Measurement: IM)

지속적 측정

교육측정 연구 ,교수 통합적

수업 진행 과정학습자의성장과정

프로파일링

후속적 학습 , 수업 전개자체로 수업 활동

지능적 측정은 개인의 성장 과정과 학습 프로파일에 근거하여 그에게 적응적이고 지적인 교수- 학습을 안내할 수 있게 할 것이다 .

(5) 웹 기반 검사 (Web-based testing) 또는 웹 기반 평가 (Web-based evaluation) 위에서 언급한 검사들과 별개의 의미라기보다는 컴퓨터화가

웹을 기반으로 활용되고 있는 것을 말한다 .

장점• 프로그램 수정이 용이•원활한 의사소통을 가능하게 하는 상호작용 시스템•다양한 프로그램의 통합적 지원 가능

단점 • 시험 감독이 없는 상황에서 부정행위 발생 가능•제출된 평가 자료가 본인의 것이 아닐 수도 있음

3. 컴퓨터이용검사(1)컴퓨터이용검사의 발달 ▶ 검사에 이용되던 매체의 변화 연필과 시험지 모니터 , 키보드 , 마우스 ▶ 전반적인 검사의 틀과 검사에서 얻을 수 있는

정보의 변화 ▶ 컴퓨터이용검사의 대표적인 예 CBT(computer based test) 형태의 TOEFL

검사 ( 미국 ETS 에서 개발 , 2000 년부터 우리나라에서도 적용 )

(2) 컴퓨터이용검사의 장점 첫째 , 다양한 그래픽 자료와 음성 , 동영상 등이

포함된 새로운 유형의 문항이 등장 그 동안 측정되지 못한 능력 측정 가능

─ 검사의 정확도 증가 , 피험자의 흥미 유발

둘째 , 문항과 피험자에 대한 다양한 정보를 제공해 줄 수 있게 되었다 .

─ 문항을 푸는 데 소요한 시간 , 전체적인 검사에 걸린 시간 , 문제를 푼 양상 , 검토한 횟수 등 피험자의 능력측정에 중요한 정보

셋째 , 검사 시행에서의 편리를 가져다 주었다 . 정답입력

검사 종료와 함께 채점

피험자들에게 즉각적인 피드백 제공

넷째 , 장기적으로 경제적이다 . ─ 전산장비 및 관련 소프트웨어 구입 등 초기 비용은 많이

들지만 시험지의 인쇄나 운반 , 채점 등에 소요되는 비용이 없어짐으로써 장기적으로 비용절감의 효과가 있다 .

(3) 컴퓨터이용검사의 한계 첫째 , 지필검사와의 동등성이 완전히 검증되지

않았다 . ─ 특정 문항의 경우에는 양식효과 (mode effect) 가 있을

수 있다 . 양식효과란 , 지필이나 컴퓨터와 같이 검사를 제시하는

방식이 검사 자체에 미치는 영향을 의미한다 .

둘째 , 컴퓨터의 조작 능력이 검사 결과에 영향을 미칠 수 있으며 이에 따라 새로운 측정오차가 발생할 수 있다 .

셋째 , 컴퓨터의 시스템이 시행 가능한 문항의 형태를 제한하는 경우가 있으며 교과에 따라 적합하지 않을 수도 있다 .

─ 예를 들어 , 복잡한 계산 과정이 요구되는 문항이나 집중적인 독해를 요구하는 문항의 경우 컴퓨터로 제시할 경우 가시성이 떨어질 수 있다 .

넷째 , 검사 시행을 위한 초기 비용이 많이 든다 . ─ 하지만 앞에서 말했듯이 장기적으로는 경제적이다 .

4. 컴퓨터 개별적응검사(1)컴퓨터 개별적응검사의 발달 컴퓨터 개별적응검사란 , 지필검사와 같이 모든

피험자에게 동일한 순서로 동일한 문항을 제시하는 것이 아니라 , 사전에 구축된 문제은행에서 컴퓨터의 연산능력을 이용하여 피험자의 정답여부에 따라 능력수준에 부합하는 난이도를 가진 문항을 선택하여 제시하는 과정을 반복함으로써 피험자의 능력을 추정하는 검사방법이다 .

개별적응검사에 사용되는 방식에는 ◇ 초기 - 2 단계 또는 다단계 검사나 피라미드 식

검사와 같은 방법 사용 ◇오늘날 - 문항반응이론의 적용

(2) 컴퓨터 개별적응검사의 구성문제은행 - 문항반응이론 - 검사알고리즘

첫째 , 컴퓨터 개별적응검사에서는 지필검사보다 많은 수의 양질의 문항을 필요로 한다 . 따라서 시험문제가 구비해야 할 필요조건을 충분히 갖춘 양질의 문제를 제작 · 정리 · 보관한 후 필요시

사용할 수 있는 일련의 절차 내지 체제로서 문제은행을 필요로 한다 .

둘째 , 문항반응이론은 문항의 난이도와 상관없이 피험자의 능력을 안정적으로 추정하는 능력모수 불변성을 지니고 있기 때문에 피험자 개인의 능력을 안정적으로 추정해준다 .

셋째 , 검사알고리즘은 검사 시행의 논리로서 컴퓨터 개별적응검사의 고유한 특성을 나타내는 부분이다 . 이는 진행 과정에 따라 초기에 특정 문항을 제시하는 기준 , 다음 문항을 선별하는 기준 , 검사를 종료하는 기준으로 구성되어 있다 .

정답 조금 더 어려운 문항 선별 제시 오답 보다 쉬운 문항 선별 제시

종료기준을 만족할 때까지 반복적으로 계속됨

(3) 컴퓨터 개별적응검사의 장점 첫째 , 피험자의 능력 수준에서 크게 벗어나는

문항은 제공하지 않는다 . ─ 자신의 능력 수준에 적합한 검사 상황 덕에 지루함과 불안함 감소 , 검사 더욱 잘 몰입 가능

둘째 , 보다 효율적인 검사를 실시할 수 있으며 시간과 경비가 절감되는 효과를 가져온다 .

셋째 , 인쇄된 검사지를 사용할 경우 인쇄 및 운반 과정에서 나타날 수 있는 보안 문제와 시험 실시 중에 나타날 수 있는 부정행위를 막을 수 있다 .

넷째 , 정답에 오류가 있더라도 전체 검사 결과에는 큰 영향을 미치지 않는다 .

컴퓨터 개별적응검사의 경우 잘못된 정답이 있더라도 일부 피험자에게만 영향을 미치며 , 이때에도 자기교정적 특성상 합격과 불합격의 결정에는 큰 영향을 미치지 않는다 .

(4) 컴퓨터 개별적응검사의 한계 첫째 , 한번 응답한 문항에 대해서 다시 돌아가 답을 검토하거나 수정하기가 어렵다 .

─ 문항 수정을 가능하게 하는 경우 , 피험자가 고의적으로 오답을 한 후 뒤에 제시되는 난이도가 쉬운 문항에 대

해 응답을 하고 검사 종료 직전 먼저 응답한 문항에 대해 다시 돌아가 이를 수정하는 전략을 쓸 수도 있다 .

둘째 , 피험자들에게 큰 부담과 스트레스를 주는 경향이 있다 .

─ 앞에서 말한 바와 같이 수정 불가능 , 텍스트에 밑줄을 긋거나 답지에 표시하는 등의 검사 전략 사용 불가능 등

셋째 , 맥락효과 (context effect) 를 지니는 문항이 있는 경우 공정한 검사를 실시하는 데 방해가 되기도 한다 .

─ 맥락효과란 먼저 풀었던 문항이 이후에 계속되는 문항의 응답에 미치는 영향을 말한다 .

컴퓨터 개별적응검사에서는 문항이 제시되는 순서가 피험자마다 모두 다르기 때문에 문제를 더 유리하게 푸는 사람도 있고 그렇지 못한 사람도 있게 된다 .

넷째 , 컴퓨터 개별적응검사가 여러 차례 실시됨에 따라 특정 문항의 노출도가 지나치게 높아질 우려가 있으며 새로운 보안의 문제가 제기될 우려가 있다 .

─ 한정된 문제은행을 이용하여 검사를 반복적으로 실시할 경우

다섯째 , 지필검사와의 동등성이 완전히 검증되지 않았다 .