교육평가, 교육연구 핵심정리 2

Part 3. 평가도구의 측정학적 특징

󰊱 타당도

1. 타당도의 의미 : 측정도구가 재려고 의도한 것을 어느 정도로 충실히 재고 있는지를 나타내주는 것

‘무엇을 재고 있느냐’는 개념

2. 내용타당도 (목표타당도)

- 문항의 대표성/문항표집의 적절성이 내용타당도를 판단하는 기준.

각 문항이 검사에서 측정하고자 하는 내용을 잘 대표하고 있으며, 전체 내용을 골고루 포함하고 있는지,

측정하고자 하는 내용과 거리가 먼 문항은 없는지 따져보아야 한다.

- 학업성취도 검사의 경우, 내용타당도는 교수-학습과정에서 설정했던 교육목표를 평가도구가 얼마나 충실히 측정하고 있느냐를 결정할 때 적용된다

- 내용타당도는 내용의 논리적 분석에 근거하므로 검증은 전문가의 판단에 의해 이루어진다.

(타당도가 객관적 수치로 제공되지 않기 때문에)

- 목표지향평가에서 신뢰도는 있으면 좋은 부수적 조건 / 내용타당도는 반드시 있어야 할 필요조건

- 내용타당도는 문항들이 교육목표의 대표적 내용들을 얼마나 충실히 담고 있는지에 의해 결정된다

∴교육목표 명세화하고, 이들을 내용영역, 행동영역으로 구분한 이원분류표를 작성할 경우 내용타당도를 높을 수 있다

 

3. 준거타당도

① 예언타당도

- 미래의 행동 특성이 준거 : 평가도구가 피검사자의 미래의 행동 특성(학업성취도, 근무성적, 사회적 적응 등)을 얼마나 정확·완전하게 예언하느냐를 판단하고자 하는 것

 

- 적성검사에 주로 활용

- 두 검사의 상관계수로 검증 : 선행검사 X와 미래의 행동특성을 측정한 검사 Y와의 상관계수로 표시됨

② 공인타당도

- 해당 검사점수와 다른 검사점수 간의 상관관계로 추정

- 새로운 이론/검사방식 모색에 유용

 

4. 구인타당도

- 구인 : 측정하고자 하는 심리적 특성의 속성들을 가설적으로 정한 것

- 구인타당도 : 측정하려는 구인이 정말 존재하며, 검사가 그것을 제대로 측정하고 있는지를 확인하는 데 사용되는 타당도

- 계량적 방법으로 검증됨 ⇒ 과학적·객관적

- 가설의 입증을 통해 확인되므로 많은 증거와 연구대상이 필요.

구인타당도의 검증에는 예언타당도, 공인타당도의 모든 과정도 포함된다.

5. 결과타당도 : 평가 후 결과에 대한 가치판단을 의미. 평가활동의 목적달성 여부가 타당도 판단의 준거.

 

 

 

 

󰊲 신뢰도와 객관도

1. 신뢰도

ㆍ개념 : ‘얼마나 오차없이 정확하게’ 측정하고 있느냐를 나타내는 개념.

같은 대상에 대해 두 번 측정해서 얻은 두 개의 측정치 사이에 일관성이 있느냐는 뜻으로 해석하기도.

ㆍ타당도와 신뢰도의 관계

- 신뢰도는 타당도의 필요조건 (신뢰도가 있어야 타당도가 보장이 됨)

- 신뢰도 낮아지면 타당도가 낮아진다 / 신뢰도가 높다고 반드시 타당도가 높아지는 것은 아님

 

ㆍ신뢰도 추정방법

① 재검사 신뢰도(안정성 계수) : 한 개의 검사를 같은 집단에 두 번 실시해서 신뢰도 추정하는 방법

전후의 점수 사이에 어느정도의 안정성이 있느냐를 보는 관점

② 동형검사 신뢰도(동형성 계수) : 미리 두 개의 동질성을 가진 것으로 추정되는 동형검사를 제작,

그것을 같은 피험자에게 실시해서 얻은 점수를 통해 신뢰도 추정

③ 반분검사 신뢰도(동질성 계수) : 한 개의 검사를 한 피험집단에 실시, 그것을 적절한 방법에 의해 두 부분의 점수로 분할, 두 부분을 독립된 검사로 생각해서

그 사이의 상관을 계산하는 방법. 검사내용의 동질성을 나타내는 동질성 계수.

④ 문항내적 합치도 : 한 검사에 있는 문항 하나하나를 각각 독립된 별개의 검사로 간주, 그들의 합치성, 동질성, 일치성을 종합하여 신뢰도를 추정하는 방법.

한 검사 내의 각 문항에 대해 피검자가 얼마나 일관성있게 반응하느냐 하는 것은 문항이 어느정도 동질적이냐에 의해 결정된다.

ㆍ신뢰도를 높이는 방법

- 문항수가 많을수록 신뢰도 증가 (문항수 많을수록 우연적 오차(추측)에 의한 영향을 적게 받음.

〃 문항 대표성 ↓ 타당도가 높아지지는 않음)

- 문항난이도가 중간 정도인 문항이 많을수록 (점수의 분산도를 크게 하기 때문)

- 문항변별도가 높을수록 (점수의 분산을 크게 해준다는 뜻)

- 문항의 범위가 좁을 때 (검사문항의 측정내용이 보다 좁은 내용일 때)

- 문항표본이 적절할 때

- 문항이 동질적일 때 (검사내용의 의미가 분명해짐)

- 검사목적에 적합한 집단에 실시할 때

- 전체학생을 대상으로 할 때

- 시간제한이 없는 역량검사일 때

- 검사환경이 일정할 때

 

2. 객관도

ㆍ의미 : 채점자의 채점 일관성 정도를 밝혀주는 것 (=채점자 신뢰도)

- 채점자 간 신뢰도 : 한 문항에 대해 여러 사람의 채점 결과가 일치하는 정도

- 채점자 내 신뢰도 : 한 채점자가 같은 문항을 여러 번 채점한 결과의 일치 정도

ㆍ논문형 검사에서 객관도를 높이는 방법

- 채점 기준을 미리 정해둔다.

- 채점 기준을 위해 모범답지를 만들어둔다.

- 답지 내용만 보고 채점하도록 하여 편견/오차가 작용하지 않도록 한다.

- 문항단위로 채점한다

- 가능한 여러 사람이 채점해서 평균하도록 한다.

- 문항에 따라 점수비중을 다르게 해야 할 경우, 미리 계획을 세운다

 

 

 

 

 

Part 4. 교수목표와 평가문항의 제작

󰊱 Bloom의 교수목표 분류

1. 인지적 영역 교수목표

ㆍ복잡성의 원리 : Bloom은 인지적영역의 목표가 ‘복잡성의 원칙’에 따라 위계적 관계를 이루고 있다고 봄

인지적 영역의 목표로 ‘지식, 이해, 적용, 분석, 종합, 평가’ 6가지 제시

ㆍ위계관계

① 지식 : 학생들이 교육과정 속에서 경험한 아이디어/현상을 기억했다가 재생할 수 있는 것

② 이해 : 번역(알고 있는 개념을 다른 언어로 표현/다른 상징형태로 변환시키는 능력), 해석, 추론 능력.

③ 적용 : 추상적 개념, 원리, 절차 등을 구체적 사태에 사용/응용하는 능력. 문제해결력에 해당

④ 분석 : 하위요소로 분해, 관계·조직원리 분석하는 능력

⑤ 종합 : 이전에 경험한 내용/자료를 구성해 새로운 자료로 창안하는 능력

⑥ 평가 : 내적준거(의사소통의 정확성, 일관성)에 의한 판단 / 외적준거(미리 설정된 준거)에 의한 판단

 

2. 정의적 영역의 교수목표

ㆍ인간의 마음과 관련된 특성 : 인성, 가치관, 도덕성, 적성, 태도, 흥미와 같은 정서적 측면을 의미

정의적 행동 특성을 개인이 내면화하는 정도에 따라 5단계로 나뉨

ㆍ정의적 행동 특성 단계

- 감수 : 어떤 자극에 대해 주의/관심 기울이고 이를 선택하는 것

- 반응 : 관심에서 한걸음 더 나아간 것. 자신이 선택한 활동/대상에 대해 선호/싫증을 가지게 된다.

- 가치화 : 좋고 싫은 감정을 행동으로 나타내는 단계

- 조직화 : 어떤 가치를 개념화하여 사물/현상/활동을 판단·주장하는 단계

- 인격화 : 인생철학, 가치관 확립·내면화되어 모든 사물, 사건, 행동에 일관되게 적용되는 단계

 

3. 심동적 영역의 교수목표

ㆍ신체능력에 관한 행동

ㆍ심동적 영역의 단계

- 지각 : 감각기관을 통해 사물의 질, 관계 등을 지각하는 과정

- 태세 : 어떤 특정 행위/경험을 하기 위한 예비적 적응상태. 정신·신경·운동적 준비상태

- 유도반응 : 지도자/교사에 유도에 의해 하나하나의 행위를 해보는 단계

- 기계화 : 상황에 따라 습관적 동작이 자동적으로 나타나는 것

- 복잡외현반응 : 복잡한 운동행위 가능. 그 행위도 노력/시간을 최소한으로 들여 가장 유효·원활하게 가능

- 적응 : 문제상황/특수한 요구에 적합하게 숙달된 자세/행위를 수정/변화하는 단계

- 독창성 : 독창적 행동, 자세로 행위결과를 최대화하는 단계

 

 

󰊲 평가문항의 제작

1. 선택형 문항

ㆍ의미 : 지시문 및 문두와 함께 여러 선택지를 제시, 그 중 적합한 답지를 선택하도록 하는 문항형식

ㆍ종류 - 진위형 : 어떤 진술이 옳으면 O, 틀리면 X 표시하라는 식으로 표현되는 것이 일반적.

- 배합형 : 서로 관계되는 것을 찾아 연결하도록 하는 문항형식

- 선다형 : 여러 답지에서 하나를 선택하게 하는 문항형식

선택형 문항의 장단점		선다형 문항의 장단점
장점	① 채점의 객관성·신뢰성이 높다 ② 문항의 내용타당성이 높다 ③ 평가하려는 능력의 표본을 포괄적으로 다룰 수 있다. ④ 채점과 통계적 분석이 쉽다	장점	① 문항형식이 갖는 융통성·신축성이 크다 ② 객관성·신뢰성이 높다 ③ 문항 난이도 조정이 용이 ④ 내용타당도가 높다 ⑤ 학습오류 진단 가능 ⑥ 추측 요인 축소 가능
단점	① 단순한 상기력 측정에 빠질 위험이 있다 ② 추측의 요인을 제거할 수 없다 ③ 표현과 창의의 기회가 제한된다	단점	① 교수-학습과정에 대한 정보 제공 못함 ② 문항제작이 어려움 ③ 창의성 발휘 기회 부족 ④ 우수한 학생에 불리 ⑤ 단순 암기와 같은 피상적 학습 치중 가능

2. 서술형 문항과 논술형 문항

ㆍ서술형 문항의 특징 - 내용요약, 개념설명, 풀이과정 제시 등 학습한 내용을 기술하는 형식

- 논술형에 비해 짧은 길이

- 채점시 어느정도 객관적인 정답이 있다.

ㆍ논술형 문항의 특징 - 서술형보다 길게 보통 한 단락 이상으로 구성됨

- 생각·주장을 논리적으로 설득력있게 조직하는 평가.

- 채점시 채점자의 전문적 판단이 요구됨

ㆍ서술형·논술형 문항의 장단점

 

장점	단점
① 반응의 자유도가 크다 ② 고등정신기능 측정에 효과적 ③ 문항제작이 용이 ④ 학습자의 학습태도 개선	① 채점의 비객관성, 비신뢰성 ② 문항의 표본수가 제한 ③ 채점에 시간·노력이 많이 소모

 

 

3. 문항분석

① 문항난이도 : 어떤 문항의 어렵고 쉬움의 정도를 나타내는 지수. 정답자의 비율을 백분율로 나타낸 것.

- 문항난이도는 학생집단의 수준에 따라 달라짐.

같은 문항이어도 상위집단-문항난이도 높게 / 하위집단-문항난이도가 낮게 나옴.

- 0~100%의 범위

- 정답자多 ⇒ 문항난이도 지수↑ ⇒ 쉬운 문항

- 규준지향평가에 활용

- 학생들 개인차 변별이 목적. 학생들의 점수가 널리 변산되기를 기대함.

- 난이도 중간인 문항을 많이, 어렵고 쉬운 문항도 일부 사용하여

평균난이도 50%정도에 머무르도록 해야 변산도가 높아져 바람직한 문항이 된다.

- 목표지향평가에 활용

- 문항난이도는 문항정답률이므로 교수-학습 성공여부를 판단하는 기준이 된다

- 형성평가 문항제작 시 문항위계를 검증하는 기준으로 활용된다

- 문항의 성격·위계에 따라 문항난이도가 달라진다

② 문항변별도 : 학생의 능력을 구분하는 정도를 나타내는 지수

- 문항변별도는 -1.0~+1.0의 범위

- 지수가 +의 부호를 가지면서 그 값이 클수록 문항변별도가 높은 문항

- 규준지향평가에 활용

- 개인차 변별이 목적 ⇒ 변별도 높은 문항으로 구성되어있는 것이 필수.

문항변별도 높을수록 양호한 문항

- 문항변별도가 0에 가깝거나 음수인 문항 = 학생의 능력을 변별할 수 없음. 제외되어야 함.

- 목표지향평가에 활용

- 목표지향평가에서 문항변별도는 학습에서의 성공자와 실패자를 구별해주는 역할

- 어떤 문항에 대해 모든 학생이 답을 하여 변별도 0이 나와도 그 문항이 교수목표와 일치하면 좋은 문항.

 

4. 문항반응이론

① 문항반응분포 : 문항 속에 포함되어 있는 답지 하나하나에 학생들이 어떻게 반응했는지를 분석하는 것

답지가 의도한 기능/역할(얼마나 오답으로서 매력이 있나/얼마나 정답 구실을 했는가) 알아보고자 하는 것

② 문항특성곡선 : 피험자의 능력과 답을 맞힐 확률과의 함수관계를 나타냄. 일반적으로 S자 곡선으로 나타남

- X축은 피험자 능력, Y축은 피험자 능력에 따라 답을 맞힐 확률

- 피험자의 능력은 0을 중심으로 -3~+3 범위에 변산되어 있다.

피험자 능력 평균은 0, -쪽은 평균보다 능력이 낮은 쪽을 나타냄

- 능력이 높을수록 답을 맞힐 확률이 증가

③ 문항반응이론에 의한 문항분석

- 문항난이도

- 문항의 답을 맞힐 확률이 0.5에 해당되는 능력수준의 점. β 또는 b로 표시.

- 문항난이도의 값이 크다는 것은 0.5의 정답확률을 내는 데 요구되는 능력이 크다는 의미 ⇒ 어려운 문항이 된다

- 문항변별도

- 문항변별도는 능력수준의 상하를 구별해주는 정도이므로 문항난이도를 나타내는 점에서의 문항특성곡선의 기울기로 표시한다.

- 문항난이도를 나타내는 점에서 기울기가 클수록 능력 증가에 따른 정답확률의 변화가 커지므로 변별도가 높아진다.

 

 

 

 

 

Part 5. 교육통계

󰊱 교육평가의 기초 통계 개념

1. 측정치	명명척도	어떤 사물을 지칭/분류하기 위해 부여한 임의의 수치/기호 (지칭·분류기능만 가짐)
	서열척도	크기/중요성에 기준하여 측정결과들에 순위를 매기는 것 (명명척도의 분류기능+순위)
	동간척도	수치의 차가 일정 간격을 가지고 있는 경우. 순위 뿐 아니라 측정치들이 얼마나 더 크고 작은지를 알려줌
	비율척도	가감승제가 가능. 한 척도가 다른 척도의 몇 %, 몇 배에 해당된다는 표현을 쓸 수 있다
2. 집중경향치	의미	집단의 대표적 수치. 한 집단을 구성하고 있는 학생들의 특성을 측정·점수화했을 때, 이 집단의 점수분포를 하나의 값으로 요약·기술해주는 것 종류 : 산술평균, 중앙치, 최빈치
	중앙치(Mdn)	한 집단의 점수분포 상에서 전체사례를 상위반과 하위반으로 나누는 점
	최빈치(Mo)	한 점수분포에서 가장 빈도가 높은 점수. 가장 많이 나타나는 점수
	산술평균(M)	측정치를 모두 더한 다음 그 집단의 사례 수로 나눈 것
3. 집중경향치 간의 관계	관계의 결정	M-Mo해서 그 값이 +면 정적편포, -면 부적편포, 0이 나오면 정상분포
	정상분포	평균을 중심으로 좌우대칭 분포. 개인차 변별이 목적인 규준지향평가 결과 나오기를 기대하는 분포.
	정적편포	낮은 점수대에 몰려있는 분포. 문제가 어렵거나 학생들의 학습능력 낮을 때 나타남
	부적편포	높은 점수대에 몰려있는 분포. 문제가 쉽거나 대부분의 학생이 학습목표에 도달했을 때 나타남. 목표지향평가에서 기대하는 분포도
4. 표준편차	의미	점수들이 평균치로부터 어느 정도 떨어져 있는가를 나타냄
	특징	① 표준편차는 분포 상에 있는 모든 점수의 영향을 받음 ② 한 집단의 모든 점수에 일정한 수를 더하거나 빼도 표준편차는 동일 ③ 〃 〃 곱하면 표준편차도 그 배수만큼 증가 ④ 표준편차가 크면 → 점수가 넓게 분산되어 있다는 것 → 집단이 이질적, 개인차 변별 잘된다는 의미 ⑤ 표준편차가 작으면 → 평균을 중심으로 점수가 몰려 있음 → 집단의 능력 동질적, 개인차 변별 잘 안됨
5. 정상분포곡선과 표준편차	특징	① 정상분포곡선은 좌우대칭적 ② 평균과 중앙치, 최빈치가 모두 같다 (M=Mdn=Mo) ③ 정상분포곡선의 면적은 사례 수를 나타낸다
6. 백분율, 백분위, 백분점수	백분율	한 분포에서 어떤 점수 아래에 있는 누계사례수가 전체사례 수에서 차지하는 비율
	백분점수	백분위에 해당하는 원점수
	백분위(점수)	규준집단에서 어떤 학생의 점수보다 낮은 점수를 받은 학생이 전체학생 중 몇%가 있느냐를 나타내는 표시방법. 집단의 크기/시험의 종류 달라도 상대적 위치를 서로 비교가능
	정상분포곡선과 백분위 점수	한 정상분포에서 평균·표준편차 알고 있을 경우, 특정 점수가 어느 위치에 있는지 알 수 있으므로 이 점수의 백분율·백분위점수를 알 수 있다.
7. 표준점수	의의	① 평균에서 떨어진 정도를 표준편차 단위로 표시. ② 표준점수는 원점수를 평균이 0, 표준편차가 1인 분포 상의 점수로 전환한 것 ③ 점수의 상대적 위치 제공 ④ 다른 검사점수 비교 가능 ⑤ 점수의 간격은 상대적 위치 표시 (점수의 간격이 능력의 간격과 일치하지X. 국어T점수가 50점인 학생은 25점인 학생보다 국어능력이 두 배라는 해석은 불가능)
	Z점수	① 원점수가 정규분포의 평균으로부터 떨어진 정도를 표준편차 단위로 표시한 값 ② Z점수가 0이라는 것은 원점수가 분포의 평균과 같다는 것을 의미 0보다 크면 평균보다 크다 / 0보다 작으면 평균보다 낮다는 것을 의미
	T점수	표준편차 단위를 10, 편균을 50으로 하여 전환한 점수. Z점수의 0점 = T점수의 50점 / Z점수 1점 = T점수 60점
	H점수	T점수 변형한 것. 단위를 14σ로 한다
	편차IQ	평균을 100, 표준편차 15로 하여 원점수를 바꾸어놓은 것
	스테나인 점수	개념 : 정규분포를 표준편차 0.5단위로 9개의 부분으로 나눈 다음, 각 부분에 1~9까지 부여한 점수 장점 ① 수리적인 조작이 용이, 점수의 범위를 나타내므로 평균 계산 가능 ② 미세한 점수 차이의 영향을 적게 받음 단점 ① 상대적 위치를 정밀하게 표현하기 어려움 ② 두 스테나인 점수의 경계에 위치하는 사소한 점수차이를 과장할 수 있다 ③ 원점수를 스테나인으로 변환하면 원점수를 알 수 없게 된다

 

 

󰊲 관계분석을 위한 통계방법

1. 상관분석

ㆍ상관 = 두 개의 변인 간의 관계.

두 변인 간에 상관이 있다 = 한 변인의 값이 변함에 따라 다른 한 변인의 값이 체계적으로 변하는 경향이 있다

ㆍ상관계수 : 상관의 크기를 수치로 나타낸 것

상관계수의 범위 : +1.00 ~ -1.00 까지의 수치

+, - 부호 : 상관의 방향 표시

상관계수의 절대치가 높을수록 높은 상관관계

2. 변량분석 : 두 독립변인의 다른 상태가 서로 다른 전집에서 나온 세 가지 이상의 표본들의 평균치 사이에 의미 있는 차이를 만들어내는지를 검증하고자 하는 방법