“인공지능 GPT-4, 한의사 국시서 합격선 근접”

김창업 가천대학교 한의과대학 교수 연구팀은 생성형 인공지능 모델(Generative AI model)인 GPT-4가 한의사 국가시험에서 합격선에 근접한 성적을 거뒀다고 밝혔다.

GPT-4는 ChatGPT를 개발한 OpenAI에서 지난달 14일 공개한 생성형 거대언어모델(Generative large language model)로, ChatGPT보다 우수한 성능으로 변호사 시험, 생물 올림피아드 등 각종 시험에서 사람을 능가하는 퍼포먼스를 보여줘 큰 주목을 받은 바 있다. 뿐만 아니라 미국 의사시험에서 이미 높은 성적을 기록, 의료 인공지능 개발에 이러한 언어 모델을 활용할 수 있을 것인지에 대한 논의가 활발히 이뤄지고 있다.

이에 김창업 교수 연구팀은 이 모델을 한의학 인공지능 개발에도 적용할 수 있을지를 평가하고자 연구를 진행했다. GPT-4는 2022년 시행된 한의사 국가시험에서 평균 57.29%의 정답률을 기록했으며, 이는 합격선인 60%에 근접하는 성적이다. 이러한 결과가 한의학 혹은 의학 분야에 대한 별도의 추가 훈련 없는 사전학습 모델만으로 이뤄졌다는 점에서 주목할 만한 성과라고 할 수 있다는 평가다. 

특히 이번 연구에서는 한국 의료에 인공지능을 적용할 때 발생할 수 있는 문제점 역시 발견했다는 의의가 있다는 설명이다.

즉 GPT-4는 과목별로 정답률의 차이가 크게 나타났다. 이 중 국제적으로 표준화된 진단기준에 대한 문제가 주로 출제된 신경정신과학에 대해서는 높은 성능을 나타낸 반면 서양의학뿐 아니라 중의학과도 차별화되는 이론을 다루는 내과학2 과목에서는 가장 낮은 정답률을 나타냈다. 특히 한국의 의료법을 다루는 과목은 한의학과 직접적인 연관이 없음에도 낮은 정답률을 나타냈다.

이에 대해 연구팀은 “영미권에서 생산된 데이터로 학습된 GPT-4는 전 세계에서 통용되는 지식에 대해서는 충분히 학습했지만, 한국에서만 적용되는 의료법이나 보험체계, 한국에서 권장되는 임상지침 등에서는 충분히 학습하지 못했을 수 있다”고 설명했다.

또한 이번 연구를 주도한 김창업 교수와 장동엽 연구원은 “이번 연구를 통해 대중화되고 있는 거대언어모델을 활용한 한의임상현장에서의 자동화된 데이터 수집, 한의임상보조 인공지능, 한의대생이나 한의사의 진료 기술을 훈련할 수 있는 학습용 인공지능 개발 등 다양한 발전 가능성을 확인했다”며 “한의학에 대한 AI 개발뿐 아니라 각 국가의 상황에 맞는 의료 인공지능 개발에 참고할 수 있는 기초 자료로 활용되길 희망한다”고 밝혔다.

한편 이번 연구는 지난달 31일 ‘아카이브(arXiv)’에 “Exploring the Potential of Large Language models in Traditional Korean Medicine: A Foundation Model Approach to Culturally-Adapted Healthcare(doi: https://doi.org/10.48550/arXiv.2303.17807)”라는 제하의 논문으로 공개됐다.