• 맑음속초1.8℃
  • 맑음1.2℃
  • 맑음철원-0.1℃
  • 맑음동두천2.9℃
  • 맑음파주1.6℃
  • 맑음대관령-4.2℃
  • 맑음춘천2.3℃
  • 흐림백령도2.8℃
  • 맑음북강릉3.2℃
  • 맑음강릉3.3℃
  • 맑음동해4.0℃
  • 맑음서울1.4℃
  • 맑음인천1.8℃
  • 맑음원주1.6℃
  • 흐림울릉도2.3℃
  • 맑음수원2.2℃
  • 맑음영월1.0℃
  • 구름많음충주1.8℃
  • 흐림서산1.5℃
  • 맑음울진5.3℃
  • 구름많음청주2.3℃
  • 눈대전1.2℃
  • 구름많음추풍령-0.3℃
  • 맑음안동3.2℃
  • 구름많음상주2.1℃
  • 맑음포항4.9℃
  • 흐림군산1.0℃
  • 구름많음대구4.0℃
  • 눈전주0.7℃
  • 맑음울산5.7℃
  • 맑음창원6.4℃
  • 구름많음광주5.2℃
  • 맑음부산8.4℃
  • 맑음통영8.3℃
  • 비목포4.1℃
  • 맑음여수6.0℃
  • 구름많음흑산도6.8℃
  • 흐림완도6.2℃
  • 흐림고창3.1℃
  • 구름많음순천3.3℃
  • 눈홍성(예)0.4℃
  • 구름많음1.7℃
  • 구름많음제주10.7℃
  • 구름많음고산10.7℃
  • 구름많음성산8.7℃
  • 맑음서귀포11.6℃
  • 맑음진주7.5℃
  • 맑음강화2.0℃
  • 맑음양평2.7℃
  • 구름많음이천3.1℃
  • 맑음인제0.3℃
  • 맑음홍천1.5℃
  • 맑음태백-1.9℃
  • 맑음정선군0.5℃
  • 맑음제천0.6℃
  • 흐림보은1.1℃
  • 구름많음천안2.5℃
  • 흐림보령1.1℃
  • 흐림부여2.3℃
  • 흐림금산1.9℃
  • 구름많음1.0℃
  • 흐림부안0.9℃
  • 구름많음임실1.4℃
  • 흐림정읍2.2℃
  • 구름많음남원3.1℃
  • 흐림장수0.5℃
  • 흐림고창군2.4℃
  • 흐림영광군4.0℃
  • 맑음김해시7.1℃
  • 구름많음순창군2.9℃
  • 구름많음북창원6.3℃
  • 맑음양산시6.7℃
  • 맑음보성군6.5℃
  • 흐림강진군5.6℃
  • 구름많음장흥5.4℃
  • 흐림해남4.3℃
  • 구름많음고흥6.2℃
  • 맑음의령군7.0℃
  • 구름많음함양군4.4℃
  • 맑음광양시7.1℃
  • 구름많음진도군7.0℃
  • 맑음봉화1.1℃
  • 맑음영주1.9℃
  • 구름많음문경2.1℃
  • 맑음청송군2.6℃
  • 맑음영덕4.7℃
  • 맑음의성4.1℃
  • 구름많음구미4.4℃
  • 맑음영천4.0℃
  • 맑음경주시5.0℃
  • 구름많음거창3.2℃
  • 구름많음합천6.1℃
  • 구름많음밀양5.7℃
  • 구름많음산청4.4℃
  • 맑음거제7.0℃
  • 맑음남해7.1℃
  • 맑음7.0℃
기상청 제공

2026년 11월 20일 (금)

GPT-4, 추가 학습 없이 한의사 국가시험 ‘통과’

GPT-4, 추가 학습 없이 한의사 국가시험 ‘통과’

특화된 프롬프트 엔지니어링을 통한 예측 성능 향상 보여
김창업 가천대 한의대 교수 연구팀, ‘PLOS Digital Health’에 게재

김창업.jpg

 

[한의신문=주혜지 기자] 가천대학교 한의과대학 김창업 교수(사진) 연구팀이 최근 생성형 인공지능 모델(generative AI model)인 GPT-4가 한의학 데이터에 대한 특별한 훈련 없이 한의사 국가시험을 통과하는 성능을 나타냈다고 밝혔다. 기존 연구에서는 GPT-4가 한의사 국가시험을 간발의 차로 합격하지 못했던 반면 이번 연구에서는 언어모델에게 문항을 제시하는 방식을 최적화하여 모델의 성능을 극대화하는 기법인 프롬프트 엔지니어링(prompt engineering)을 활용해 합격 수준을 달성했다.

 

연구팀은 2022년 한의사 국가시험에 포함된 340문항을 GPT-4에 제시한 뒤 GPT-4의 정답률을 평가했다. 그 결과 GPT-4는 전체 문항 중 66.18%의 문항에 대해 정답을 맞혔으며, 각 과목에 대해서도 과목별 과락 기준인 40%보다 높은 정답률을 나타냈다. 구체적으로는 △본초학 87.5% △소아과학 81.2% △부인과학 79.2% 과목에서 높은 정답률을 나타냈으며, 한국의 특성을 반영하는 상한론‧사상의학(43.8%)이나 보건의약관계법규(40.0%) 과목에서는 상대적으로 낮은 정답률을 보였다.

 

특히 이번 연구에서는 프롬프트 엔지니어링에 따라 GPT-4의 성능이 합격·불합격에 영향을 미칠 만큼 성능에 큰 영향을 주는 것도 확인했다. 한국어로 된 문항을 그대로 입력했을 경우에는 평균 정답률이 51.82%였던 것에 반해, 한의학 용어를 한자로 병기했을 때는 57.59%, 지시와 문제를 영어로 스스로 번역해 풀게 했을 경우에는 63.65%로 증가했다. 또한 같은 문항에 대해 반복적으로 답변을 얻은 뒤 답변 중 가장 빈도가 높게 등장한 답을 최종 답으로 선택하는 자기일관성(Self-consistency) 기법을 사용했을 경우 정답률이 66.18%로 향상되는 현상을 확인했다.

 

이와 관련 김창업 교수는 “기존 연구에 비해 이번 연구에서는 프롬프트 엔지니어링을 통해 한의학적 문제해결능력을 강화할 수 있다는 사실을 밝혔다는데 의의가 있다”며 “동일한 내용의 문제라도 어떤 언어로 사고하는지, 어떤 방식으로 사고하는지에 따라 큰 성능의 차이가 있었다는 데에 주목할 필요가 있다”라고 밝혔다. 

 

이번 연구를 함께 수행한 장동엽 연구원은 “한국의 특수성을 반영하는 보건의약관계법규, 상한론‧사상의학과 같은 과목들에서 낮은 점수가 나왔다는 것에 주목할 필요가 있다”며 “이는 GPT-4와 같은 글로벌 기업에서 구축된 AI가 한국의 특수성을 잘 반영하지 못할 수 있다는 점을 보여주며, 추후 의료 인공지능 개발시 각 지역의 특수성을 반영할 수 있는 노력이 필요하다는 점을 보여준다”고 말했다.

 

한편 이번 연구 결과는 ‘PLOS Digital Health’ 저널에 “GPT-4 can pass the Korean National Licensing Examination for Korean Medicine Doctors”라는 제목의 논문으로 출판됐다(DOI: 10.1371/journal.pdig.0000416).

 

관련기사

가장 많이 본 뉴스

더보기
  • 오늘 인기기사
  • 주간 인기기사

최신뉴스

더보기

뉴스

더보기