교육의 과정 - 좋은 평가 도구의 조건

1. 타당도

 

특정한 집단 혹은 학습자에 대해 해당 도구가 평가하고자 하는 평가의 목표를 정확하게 재는 성질을 타당도라고 말합니다. 해당 도구가 실제로 '무엇을 재고 있는지' 보는 것입니다. 그렇기 때문에 타당도의 개념 속에는 반드시 어떠한 기준이 전제되어야 합니다. 타당도는 언제나 측정하고자 하는 도구의 특수한 목적이나 용도에 의해서 성립되고 모든 경우에 일괄적으로 적용되는 추상적인 개념은 아닙니다. 타당도에는 여러 가지 종류가 있습니다.

 

보통 내용타당도를 이론적 타당도라고 합니다. 측정하고자 하는 사물이나 개념을 이성적으로 분석하고 한편으로는 실제로 측정 중인 검토 문항들의 내용을 파악하여 이 두 요소를 비교하고 검토하는 방법입니다. 여기서 검토는 주관적인 논리에 의한 것으로써 실증적 방법으로 검증할 수 있는 예언타당도, 구인타당도, 공인타당도와는 다른 성격을 지니고 있습니다. 내용타당도를 검토할 때는 충분히 논리적인 비교 및 판단 아래서 행해지므로 검토자의 개인적 소견이 첨가될 가능성이 있습니다. 따라서 이 방법에 의해서만 타당도를 검증하는 것은 좋은 방법이 아닙니다. 

 

예언타당도는 실증적 입장에서 측정된 결과가 앞으로 어떠한 행동이나 효과를 예측할 수 있는지의 정도를 통계적으로 검증하는 방법입니다. 측정한 결과가 있을 때 일정한 시간이 지나면 실제 행동이나 효과가 어떻게 나타났는지 다른 방법으로 측정하고 이 두 개의 측정 결과를 비교하고 검토하여 타당도의 높고 낮음을 판단하게 됩니다. 여기서 '실제 행동이나 효과'를 기준으로 삼는데 이 기준을 얻기 위해서는 몇 년 정도 기다려야 하므로 시간 소요가 막대한 관계로 자주 사용하기에는 어려운 방법입니다. 

 

공인타당도에서 어떤 측정 점수와 어떤 기준 점수와의 상관관계를 통해 타당도를 검토한다는 점은 예언타당도와 같은 원리이지만, 기준 점수가 미래의 효과가 아니라 현재의 성과라는 점에서 차이가 있습니다. 어떤 사람의 행동으로 나타난 지능의 수치와 이 사람이 지능검사를 실시하여 나타난 점수가 얼마나 합치하는지 측정하여 해당 검사의 타당도를 가려내는 방법입니다. 

 

구인타당도는 해당 시험이 어떤 특성을 가졌는지에 초점을 두는 방법입니다. 독해를 잘하는지, 기계를 잘 다루는지, 논리적으로 설명하는지 등의 특성이 여기에 포함됩니다. 이것은 개인적인 특성을 서술하거나 특수한 상황에서 사람들이 어떻게 반응할 것인지 예상하는 데 유용하게 쓰입니다. 

 

2. 신뢰도

 

타당도가 무엇을 측정하고 있느냐의 문제라면, 신뢰도는 해당 평가도구가 어떻게 측정하고 있는지의 문제라고 할 수 있겠습니다. 해당 평가도구가 믿을만한 측정을 하고 있는지는 이 평가도구의 안정성, 정확성, 일관성, 신뢰성이라는 말과 같은 의미입니다. 신뢰도를 좌우하는 중요한 조건 중의 하나는 채점의 객관성인데 만약 채점이 주관적이라면 신뢰도는 현저히 낮아집니다. 

 

그러므로 평가도구의 높은 신뢰도를 위해서라면 가능한 객관적인 방법을 사용해서 교사의 주관적인 의견에 영향을 받지 않도록 신경 써야 합니다. 이렇게 신뢰도는 서로 다른 상황일 때 검사의 결과가 얼마나 많은 차이가 있는지의 정도를 보여줍니다. 

 

채점자 신뢰도는 두 명 이상의 교사가 같은 답안지를 각자 채점한 후에 서로의 채점 결과가 얼마나 차이 나는지 보는 방법입니다. 재검사 신뢰도는 하나의 평가도구를 시간 차이를 두고 두 차례 실시하여 얻은 두 점수를 비교하여 측정하는 방법입니다. 시간 차이는 보통 며칠에서 몇 년 정도로 설정합니다. 재검사 신뢰도의 계수는 측정하는 과정에서 생기는 오차에 의해, 피검사자의 반응 변화에 따라 달라집니다. 그러므로 재검사 신뢰도 계수를 보고할 때 실시 간격을 정확하게 표기해야 합니다. 

 

3. 타당도와 신뢰도의 관계

 

보통 신뢰도와 타당도를 비교하며 신뢰도는 타당도의 필요조건이지만 충분조건은 아니라고 말합니다. 이것은 어떤 검사가 타당하기 위해서는 신뢰도가 좋아야 한다는 조건이 성립되지만, 어떤 검사가 신뢰받기 위해서 반드시 타당해야 하는 것은 아니라는 뜻입니다. 많은 경우 평가도구의 신뢰를 높이려고 할수록 타당도는 반대로 내려가는 성질이 나타남을 볼 수 있습니다. 예를 들면 어떤 영역의 문제를 많이 내면 신뢰도는 올라가지만 출제 범위가 어느 한 부분에 치우치게 되므로 타당도는 내려가는 경우가 대표적인 사례입니다. 

 

타당도는 어떤 평가도구가 측정하려고 했던 내용을 얼마나 효과적으로 측정했는지의 적합성을 나타낸다면, 신뢰도는 측정 대상 내용에 대해 평가도구가 얼마나 일관성 있는 측정이 이루어졌는지를 나타냅니다. 그러므로 평가도구의 제작에 있어서 신뢰도를 첫 번째로 고려해야 합니다. 신뢰도는 타당도에서 필수요소이기 때문입니다. 

 

4. 객관도

 

객관도는 다른 말로 하면 검사자 신뢰도라고도 할 수 있습니다. 교사, 즉 채점자가 주관적인 생각이 없이 얼마나 공정하고 객관적으로 채점하는지에 따른 수치이며, 따라서 앞에 나왔던 신뢰도의 일종이라고 볼 수 있습니다. 같은 답안지를 두고 어떤 채점자는 90점으로 채점하고, 다른 어떤 채점자는 80점으로 채점하고, 극단적인 경우 또 다른 채점자는 50점으로 채점하게 되는 상황을 가정해 봅시다. 이렇게 객관도의 차이가 심하게 나타나는 이유는 평가도구 자체의 불완전성 때문이기도 하고 채점자의 평가 능력 부족에서 비롯된 문제이기도 합니다. 

 

객관도를 높이기 위해서는 평가도구를 명확히 객관화시켜야 합니다. 또한 검사자, 즉 채점자의 평가 능력과 해당 분야에서의 소양을 수준 높게 유지해야 합니다. 채점자의 개인적이고 주관적인 의견, 추측, 오해 등의 변동 요인을 최소한으로 없애야 합니다. 만약 객관적이지 않은 도구라면 최대한 많은 사람이 평가에 참여하여 그 결과를 종합하여 반영하는 것이 그나마 객관성을 보장할 수 있습니다.

 

평가도구에 있어서 객관도는 아주 중요한 요소입니다. 좋은 평가도구일수록 객관도가 높아야 합니다. 신뢰도와 더불어서 좋은 평가도구라면 반드시 갖추어야 하는 필수적인 조건입니다. 평가도구를 제작할 때 신뢰도와 객관도를 가장 우선시하여 제작해야 하며 이 평가도구가 학습자의 학습 능력을 종합적이고 효율적으로 판단할 수 있을지 보장되어야 합니다.