한의학 임상술기시험의 신뢰도와 타당도 분석

[한의신문=이규철 기자] 대한한의학회(회장 최도영)가 최근 출간한 ‘대한한의학회지(Journal of Korean Medicine)’ 2024년 3월호에 한의학 임상술기시험의 신뢰도와 타당도를 분석한 연구 결과가 발표됐다.

채한 부산대학교 한의학전문대학원 교수의 ‘교육 현장에서 시행된 임상 술기 시험의 다면적 타당도 분석’ 연구는 한의학과에서 3년(2019-2021) 동안 시행된 2일간의 술기 시험에서 CPR 시행 결과를 연구 분석에 활용했다.

이번 연구에서는 교육 현장에서 실제 시행되었던 CPR 술기시험의 다면적 타당도를 요인분석, 내적일치도, 일반화 가능도 이론, 분산 분석 등을 활용하여 검토하였는데, 임상술기 평가를 위한 시험과 문항의 개발과 운영에 시급한 개선이 필요하다는 것이 통계적으로 확인됐다는 내용이다.

기술통계 분석 결과 평가에서는 그룹별 분산의 차이가 크게 나타났으며, 이는 일부 평가그룹의 점수의 고득점 편향이 원인으로 파악됐다. 내적일치도의 경우 3개년 시험 모두 의료분야 선행 임상술기시험에 비해 낮은 편이었다. 일반화가능도 이론을 활용하여 평가점수에 영향을 미치는 요인들을 분석한 결과에서는 일반화 연구(G-study)를 통해 평가자 및 상호작용의 분산성분과 표현되지 않은 요인의 영향력이 매우 크며, 결정 연구(D-study)를 통해 평가자 오차를 크게 줄여야 할 필요성이 확인됐다. 특히 평가자 신뢰도를 높일 방안이 시급하다는 것도 확인됐다.

저자는 이와 함께 많은 비용과 인력이 필요한 임상술기시험의 본격적인 도입에 앞서 실제 교육현장에서 선제적으로 준비해야 할 타당도 분석법과 예상되는 문제점들을 제시하기도 했다.

첫 번째는 임상 술기 시험의 시행 목적의 명확화다. 임상술기시험과 같은 저부담시험은 고부담시험에 비해 높은 신뢰도가 가장 중요한 것으로 고려되지 않으며 응시자에게 피드백을 제공하는 목적이 크기 때문이다. 

두 번째는 사후 분석을 통한 완성도 있는 평가 루브릭을 생성이다. 이번 연구에서 시험결과 및 문항에 대한 기술통계, 내적일치도 분석, 요인 분석 등을 통해 사후 분석의 중요성을 확인할 수 있었는데, 평가 그룹에 따라 점수의 왜도, 첨도가 균질하지 않은 점은 평가의 공정성 측면에서 평가 그룹의 구성을 통제할 필요가 있음을 시사한다는 설명이다.

세 번째로는 임상 술기시험의 공정하고 타당한 진행을 위한 연구와 준비의 필요성이 강조됐다. 현재까지 한의학 교육에 있어서 임상 술기시험 연구는 한의사로서 임상현장에서 요구되는 역량의 설계와 이를 신뢰도 있게 평가할 수 있는 평가 루브릭의 개발에 초점을 두고 있었던 반면 학생들을 대상으로 임상 교육 현장에서 임상술기 교육과 평가를 시행함에 있어서는 평가자간 채점 결과의 차이까지 고려하여 공정하고 타당하게 관리하는 것이 매우 중요하다는 의견이다.

이밖에도 공정한 합격점수 설정하는 방법 논의, 평가결과의 유의한 해석을 위한 타당도 확보  등을 제언했다.

저자인 채한 교수는 “보건의료인의 국가시험은 시험의 결과가 피평가자에게 중요한 영향을 미치는 고부담 시험으로, 명확한 성취목표에 따라 기획되고 안정적으로 진행되어야 하며, 치밀한 역량 평가를 토대로 합격 여부가 공정하게 결정되어야 하며, 시험 실행 이후에는 종합적인 타당도와 신뢰도 평가를 근거로 지속적인 개선이 이루어져야 한다”고 설명했다.

또한 “이번 연구에서는 일개 한의학과에서 십여년 이상 운영되어 온 임상술기시험 중에서 매년 지속적으로 시행되어 온 심폐소생술(CPR) 모듈의 3년간 평가 결과에 다면적 타당도 평가방법을 적용해 봄으로써 활용 가능성과 유효성을 확인해 보고자 하였다”며 “학습자 역량 분석 측면에서 평가의 타당성을 높이기 위한 노력이 바로 역량중심, 근거기반 술기교육을 지속하는 데 필요조건인 만큼, 이 연구에서 제시된 다면적 평가 타당도 분석 방법은 한의학과 및 보건의료인국가시험원에서 임상 술기 평가를 도입할 때 기여할 수 있을 것”이라고 덧붙였다.