한의 임상의간 진단의 일치도 수준은?

[편집자 주]  본란에서는 한의약융합연구정보센터(KMCRIC)의 ‘근거중심한의약 데이터베이스’ 논문 중 주목할 만한 임상논문을 소개한다.

고미미 박사

한국한의학연구원 한의과학연구부

KMCRIC 제목

한의사간 진단 일치도는 어느 정도인가?

서지 사항

Jacobson E, Conboy L, Tsering D, Shields M, McKnight P, Wayne PM, Schnyer R. Experimental Studies of Inter-Rater Agreement in Traditional Chinese Medicine: A Systematic Review. J Altern Complement Med. 2019;25(11):1085-96. doi: 10.1089/acm.2019.0197.

연구설계

한의사간 진단 일치도를 보고한 연구를 대상으로 수행한 체계적 문헌고찰 연구.

연구 목적

한의 임상의간의 진단 일치도 정도(수준)를 평가하기 위함.

질환 및 연구 대상

성인(미국, 노르웨이, 호주, 중국, 영국)

시험군 중재

해당사항 없음(본 리뷰는 진단 일치도 연구에 대한 리뷰로 각 연구마다 다양한 질환과 다양한 중재를 받음).

대조군 중재

해당사항 없음.

평가 지표

평가자간 진단 일치도를 확인할 수 있는 단순 일치도(rates of pariwise agreement), 카파 통계량(Cohen’s kappa)을 사용함.

주요 결과

본 연구에서는 한의사간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의학적 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의학적 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개 문헌에서의 평균 카파값은 0.34(중위값 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측청치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.

저자 결론

전반적으로 한의학적 진단에서 낮은 평가자간의 일치도를 보였으며, 대부분의 연구에서 방법론적인 부분과 보고에서 중요한 결함이 있었다. 하지만 결과에서 한의사간 진단 일치도를 개선할 수 있는 가능성을 제안했으며, 향후 방법론적으로 잘 통제된 우수한 연구가 많이 필요하다.

KMCRIC 비평

한의학에서 변증은 질병 진단의 근본이며, 증후에 대한 분석과 판단이다[1]. 그러나 이러한 진단 행위는 한의사의 주관적 판단에 의존하기 때문에 그 객관성에 대한 입증의 어려움으로 한의학적 치료 효과의 객관적인 평가에 있어서 소위 근거중심의학적 연구에 많은 제한을 받고 있다[1, 2]. 이에 한의학 이론에 근거한 한의학적 진단 방법 및 치료법의 표준화가 선행되어야 함은 강조할 필요가 없다.

본 연구에서는 임상의간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement or total percent agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 한의학적 개념에 근거한 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개의 문헌에서의 평균 카파값은 0.34(중위수 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측정치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.

진단 방법에서의 일치도 평가는 평가자간 혹은 평가자 내 일치도 평가, 재현성 평가, 골드 스탠다드(gold standard)와의 일치도 평가 등 다양한 이슈가 있다. 그중 평가자간의 일치도 평가 연구에서 진단 결과가 범주형 자료로 요약되는 경우 전체 일치 백분율(total percent agreement)과 카파 통계량(Cohen’s kappa)[3]이 대표적으로 사용된다.

카파 통계량은 전체 자료에서 일치하는 확률인 단순 일치율에서 두 평가자의 진단에서 주변 확률의 영향력을 보정한 값이라고 할 수 있다. 그러나 전체 일치 백분율은 높지만 낮은 kappa 값을 보이는 카파 역설(kappa paradox)이나 분석 자료의 범위가 넓을수록(혹은 분석 자료가 이질적일수록) 높은 상관 계수 값을 갖는 등의 문제로 인해 AC1(Gwet’s AC1 statistic) 등과 같은 통계량으로 일치도 평가를 시행하기도 한다[4, 5].

본 연구의 의미와 한계점을 살펴보면 중국어를 포함한 다양한 언어권의 자료를 포괄적으로 분석하지 못했다는 점과 동료 평가(peer-review) 과정을 거친 문헌에 제한하여 회색 문헌 및 비출간 문헌 검색이 이뤄지지 못해 무엇보다 출판 비뚤림 위험성을 가지고 있으며 이에 따른 영향력을 제대로 평가하기 어렵다는 것이다.

또한 본 연구에 포함된 연구 설계와 평가 방법(rating schemes) 및 결과 측정치의 이질성으로 인해 메타분석이 불가능하여 측정된 결과의 확실성 정도를 평가하기는 어려웠다. 본 연구에서도 언급되었듯이 여기서 한의학적 진단은 전반적으로 낮은 평가자간의 일치도를 보였으나 몇몇 연구에서 나온 방법론을 통해 평가자간 일치도를 개선할 수 있는 방안을 고려해 볼 수 있다는데 있어서 의미를 둘 수 있겠다. 이러한 일환으로 이 등[6]은 어혈 진단 설문 도구의 기존 표준 작업 지침서 업데이트 작업을 통해 평가자간 일치도를 개선하는 성과를 얻었다.

한편, 구조화된 진단 설문 도구나 추가적인 진단학적 교육이 이뤄진다고 해도 진단 일치도 개선을 보이지 않은 연구도 보고되고 있다[7]. 이와 관련하여 앞으로 현대적 기기 활용과 표준화된 객관적 지표를 바탕으로 보다 더 많은 한의 진단 및 치료 결과 평가에 대한 신뢰도 연구가 이뤄지길 기대해본다.

KMCRIC 링크   

https://www.kmcric.com/database/ebm_result_detail?cat=SR&access=S201911024

참고문헌   

[1] Lee MS, Lee JA, Alraek T, Bian ZX, Birch S, Goto H, Jung J, Kao ST, Moon SK, Park B, Park KM, You S, Yun KJ, Zaslawski C. Current research and future directions in pattern identification: Results of an international symposium. Chin J Integr Med. 2016 Dec;22(12):947-55. doi: 10.1007/s11655-014-1833-3.

https://pubmed.ncbi.nlm.nih.gov/24938445/

[2] Ko M, Lee J, Yun K, You S, Lee M. Perception of pattern identification in traditional medicine: a survey of Korean medical practitioners. J Tradit Chin Med. 2014 Jun;34(3):369-72. doi: 10.1016/s0254-6272(14)60104-7.

https://pubmed.ncbi.nlm.nih.gov/24992767/

[3] Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960;20:37–46. doi: 10.1177/001316446002000104.

http://www.ric.edu/faculty/organic/coge/cohen1960.pdf

[4] Ko MM, Park TY, Lee JA, Choi TY, Kang BK, Lee MS. Interobserver reliability of pulse diagnosis using Traditional Korean Medicine for stroke patients. J Altern Complement Med. 2013 Jan;19(1):29-34. doi: 10.1089/acm.2011.0612.

https://pubmed.ncbi.nlm.nih.gov/22954463/

[5] Ko MM, Lee JA, Kang BK, Park TY, Lee J, Lee MS. Interobserver reliability of tongue diagnosis using traditional korean medicine for stroke patients. Evid Based Complement Alternat Med. 2012;2012:209345. doi: 10.1155/2012/209345.

https://pubmed.ncbi.nlm.nih.gov/22474492/

[6] Lee JA, Jung J, Ko MM, Lee MS. Inter-observer reliability of indicators and decision of pattern identification using diagnostic flowchart with traditional Korean medicine. Chin J Integr Med. 2017 May;23(5):338-44. doi: 10.1007/s11655-016-2580-4.

https://pubmed.ncbi.nlm.nih.gov/27170350/

[7] Schnyer RN, McKnight P, Conboy LA, Jacobson E, Ledegza AT, Quilty MT, Davis RB, Wayne PM. Can Reliability of the Chinese Medicine Diagnostic Process Be Improved? Results of a Prospective Randomized Controlled Trial. J Altern Complement Med. 2019 Nov;25(11):1103-8. doi: 10.1089/acm.2019.0260.

https://pubmed.ncbi.nlm.nih.gov/31730401/