2022.09.25 (일)

  • 맑음속초16.7℃
  • 구름많음15.5℃
  • 맑음철원15.3℃
  • 구름많음동두천15.8℃
  • 구름많음파주14.6℃
  • 흐림대관령11.8℃
  • 구름많음춘천17.1℃
  • 맑음백령도17.7℃
  • 흐림북강릉17.3℃
  • 흐림강릉19.8℃
  • 흐림동해17.6℃
  • 구름많음서울20.4℃
  • 구름많음인천20.0℃
  • 구름많음원주16.9℃
  • 흐림울릉도17.6℃
  • 구름많음수원19.6℃
  • 흐림영월15.7℃
  • 구름많음충주15.3℃
  • 구름많음서산16.6℃
  • 구름많음울진17.5℃
  • 구름많음청주20.8℃
  • 구름많음대전18.5℃
  • 흐림추풍령15.6℃
  • 흐림안동17.5℃
  • 흐림상주17.4℃
  • 흐림포항20.2℃
  • 흐림군산18.1℃
  • 흐림대구19.4℃
  • 흐림전주19.8℃
  • 맑음울산18.6℃
  • 흐림창원19.2℃
  • 흐림광주20.5℃
  • 흐림부산20.0℃
  • 흐림통영19.4℃
  • 흐림목포19.7℃
  • 흐림여수20.2℃
  • 흐림흑산도18.3℃
  • 흐림완도19.1℃
  • 흐림고창17.6℃
  • 흐림순천16.2℃
  • 구름많음홍성(예)17.4℃
  • 구름많음15.9℃
  • 흐림제주22.2℃
  • 흐림고산21.3℃
  • 구름많음성산20.7℃
  • 구름많음서귀포21.4℃
  • 흐림진주18.0℃
  • 구름많음강화15.9℃
  • 흐림양평17.5℃
  • 구름많음이천16.9℃
  • 구름조금인제14.3℃
  • 흐림홍천16.2℃
  • 구름많음태백12.1℃
  • 흐림정선군14.5℃
  • 구름많음제천13.7℃
  • 흐림보은16.6℃
  • 구름많음천안16.1℃
  • 구름많음보령16.5℃
  • 구름많음부여17.6℃
  • 흐림금산16.7℃
  • 구름많음17.9℃
  • 흐림부안18.5℃
  • 흐림임실16.9℃
  • 흐림정읍17.8℃
  • 흐림남원18.0℃
  • 흐림장수15.6℃
  • 흐림고창군17.2℃
  • 흐림영광군18.5℃
  • 흐림김해시19.2℃
  • 흐림순창군19.7℃
  • 흐림북창원19.0℃
  • 구름조금양산시19.6℃
  • 흐림보성군18.0℃
  • 흐림강진군18.5℃
  • 흐림장흥17.3℃
  • 흐림해남17.8℃
  • 흐림고흥16.9℃
  • 흐림의령군17.3℃
  • 흐림함양군17.0℃
  • 흐림광양시18.6℃
  • 흐림진도군18.4℃
  • 흐림봉화13.6℃
  • 흐림영주14.7℃
  • 흐림문경15.5℃
  • 흐림청송군15.6℃
  • 흐림영덕17.0℃
  • 흐림의성16.8℃
  • 흐림구미18.0℃
  • 흐림영천17.5℃
  • 흐림경주시17.4℃
  • 흐림거창17.0℃
  • 흐림합천17.3℃
  • 흐림밀양18.5℃
  • 흐림산청17.2℃
  • 흐림거제18.5℃
  • 흐림남해18.6℃
한의 임상의간 진단의 일치도 수준은?
  • 해당된 기사를 공유합니다

한의 임상의간 진단의 일치도 수준은?

대문사진.jpg

[편집자 주]  본란에서는 한의약융합연구정보센터(KMCRIC)의 ‘근거중심한의약 데이터베이스’ 논문 중 주목할 만한 임상논문을 소개한다.

 

 

임상논문 고미미.jpg

고미미 박사

한국한의학연구원 한의과학연구부


KMCRIC 제목

한의사간 진단 일치도는 어느 정도인가?


서지 사항

Jacobson E, Conboy L, Tsering D, Shields M, McKnight P, Wayne PM, Schnyer R. Experimental Studies of Inter-Rater Agreement in Traditional Chinese Medicine: A Systematic Review. J Altern Complement Med. 2019;25(11):1085-96. doi: 10.1089/acm.2019.0197.


연구설계

한의사간 진단 일치도를 보고한 연구를 대상으로 수행한 체계적 문헌고찰 연구.


연구 목적

한의 임상의간의 진단 일치도 정도(수준)를 평가하기 위함.


질환 및 연구 대상

성인(미국, 노르웨이, 호주, 중국, 영국)


시험군 중재

해당사항 없음(본 리뷰는 진단 일치도 연구에 대한 리뷰로 각 연구마다 다양한 질환과 다양한 중재를 받음).


대조군 중재

해당사항 없음.


평가 지표

평가자간 진단 일치도를 확인할 수 있는 단순 일치도(rates of pariwise agreement), 카파 통계량(Cohen’s kappa)을 사용함.


주요 결과

본 연구에서는 한의사간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의학적 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의학적 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

 

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개 문헌에서의 평균 카파값은 0.34(중위값 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측청치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.


저자 결론

전반적으로 한의학적 진단에서 낮은 평가자간의 일치도를 보였으며, 대부분의 연구에서 방법론적인 부분과 보고에서 중요한 결함이 있었다. 하지만 결과에서 한의사간 진단 일치도를 개선할 수 있는 가능성을 제안했으며, 향후 방법론적으로 잘 통제된 우수한 연구가 많이 필요하다.


KMCRIC 비평

한의학에서 변증은 질병 진단의 근본이며, 증후에 대한 분석과 판단이다[1]. 그러나 이러한 진단 행위는 한의사의 주관적 판단에 의존하기 때문에 그 객관성에 대한 입증의 어려움으로 한의학적 치료 효과의 객관적인 평가에 있어서 소위 근거중심의학적 연구에 많은 제한을 받고 있다[1, 2]. 이에 한의학 이론에 근거한 한의학적 진단 방법 및 치료법의 표준화가 선행되어야 함은 강조할 필요가 없다.

 

본 연구에서는 임상의간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement or total percent agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 한의학적 개념에 근거한 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

 

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개의 문헌에서의 평균 카파값은 0.34(중위수 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측정치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.

 

진단 방법에서의 일치도 평가는 평가자간 혹은 평가자 내 일치도 평가, 재현성 평가, 골드 스탠다드(gold standard)와의 일치도 평가 등 다양한 이슈가 있다. 그중 평가자간의 일치도 평가 연구에서 진단 결과가 범주형 자료로 요약되는 경우 전체 일치 백분율(total percent agreement)과 카파 통계량(Cohen’s kappa)[3]이 대표적으로 사용된다.

 

카파 통계량은 전체 자료에서 일치하는 확률인 단순 일치율에서 두 평가자의 진단에서 주변 확률의 영향력을 보정한 값이라고 할 수 있다. 그러나 전체 일치 백분율은 높지만 낮은 kappa 값을 보이는 카파 역설(kappa paradox)이나 분석 자료의 범위가 넓을수록(혹은 분석 자료가 이질적일수록) 높은 상관 계수 값을 갖는 등의 문제로 인해 AC1(Gwet’s AC1 statistic) 등과 같은 통계량으로 일치도 평가를 시행하기도 한다[4, 5].

 

본 연구의 의미와 한계점을 살펴보면 중국어를 포함한 다양한 언어권의 자료를 포괄적으로 분석하지 못했다는 점과 동료 평가(peer-review) 과정을 거친 문헌에 제한하여 회색 문헌 및 비출간 문헌 검색이 이뤄지지 못해 무엇보다 출판 비뚤림 위험성을 가지고 있으며 이에 따른 영향력을 제대로 평가하기 어렵다는 것이다.

 

또한 본 연구에 포함된 연구 설계와 평가 방법(rating schemes) 및 결과 측정치의 이질성으로 인해 메타분석이 불가능하여 측정된 결과의 확실성 정도를 평가하기는 어려웠다. 본 연구에서도 언급되었듯이 여기서 한의학적 진단은 전반적으로 낮은 평가자간의 일치도를 보였으나 몇몇 연구에서 나온 방법론을 통해 평가자간 일치도를 개선할 수 있는 방안을 고려해 볼 수 있다는데 있어서 의미를 둘 수 있겠다. 이러한 일환으로 이 등[6]은 어혈 진단 설문 도구의 기존 표준 작업 지침서 업데이트 작업을 통해 평가자간 일치도를 개선하는 성과를 얻었다.

 

한편, 구조화된 진단 설문 도구나 추가적인 진단학적 교육이 이뤄진다고 해도 진단 일치도 개선을 보이지 않은 연구도 보고되고 있다[7]. 이와 관련하여 앞으로 현대적 기기 활용과 표준화된 객관적 지표를 바탕으로 보다 더 많은 한의 진단 및 치료 결과 평가에 대한 신뢰도 연구가 이뤄지길 기대해본다.


KMCRIC 링크   

https://www.kmcric.com/database/ebm_result_detail?cat=SR&access=S201911024


참고문헌   

[1] Lee MS, Lee JA, Alraek T, Bian ZX, Birch S, Goto H, Jung J, Kao ST, Moon SK, Park B, Park KM, You S, Yun KJ, Zaslawski C. Current research and future directions in pattern identification: Results of an international symposium. Chin J Integr Med. 2016 Dec;22(12):947-55. doi: 10.1007/s11655-014-1833-3.

https://pubmed.ncbi.nlm.nih.gov/24938445/


[2] Ko M, Lee J, Yun K, You S, Lee M. Perception of pattern identification in traditional medicine: a survey of Korean medical practitioners. J Tradit Chin Med. 2014 Jun;34(3):369-72. doi: 10.1016/s0254-6272(14)60104-7.

https://pubmed.ncbi.nlm.nih.gov/24992767/


[3] Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960;20:37–46. doi: 10.1177/001316446002000104.

http://www.ric.edu/faculty/organic/coge/cohen1960.pdf


[4] Ko MM, Park TY, Lee JA, Choi TY, Kang BK, Lee MS. Interobserver reliability of pulse diagnosis using Traditional Korean Medicine for stroke patients. J Altern Complement Med. 2013 Jan;19(1):29-34. doi: 10.1089/acm.2011.0612.

https://pubmed.ncbi.nlm.nih.gov/22954463/


[5] Ko MM, Lee JA, Kang BK, Park TY, Lee J, Lee MS. Interobserver reliability of tongue diagnosis using traditional korean medicine for stroke patients. Evid Based Complement Alternat Med. 2012;2012:209345. doi: 10.1155/2012/209345.

https://pubmed.ncbi.nlm.nih.gov/22474492/


[6] Lee JA, Jung J, Ko MM, Lee MS. Inter-observer reliability of indicators and decision of pattern identification using diagnostic flowchart with traditional Korean medicine. Chin J Integr Med. 2017 May;23(5):338-44. doi: 10.1007/s11655-016-2580-4.

https://pubmed.ncbi.nlm.nih.gov/27170350/


[7] Schnyer RN, McKnight P, Conboy LA, Jacobson E, Ledegza AT, Quilty MT, Davis RB, Wayne PM. Can Reliability of the Chinese Medicine Diagnostic Process Be Improved? Results of a Prospective Randomized Controlled Trial. J Altern Complement Med. 2019 Nov;25(11):1103-8. doi: 10.1089/acm.2019.0260.

https://pubmed.ncbi.nlm.nih.gov/31730401/

고미미 박사




  • [한의약 이슈 브리핑] 장애인 건강주치의 사업에 한의사 참여 필요

  • [한의약 이슈 브리핑]한의협, 교통사고 환자의 진단서 반복 발급 의무화 대회원 담화문 발표

  • [3분 한의약] 뇌졸중 치료 중 한약복용과 침치료 안전할까요?

  • [한의약 이슈 브리핑]한의협, 교통사고 환자 진단서 제출 반복 의무화 규탄


모바일 버전으로 보기