“의료AI, 철저히 검증해야 부작용 막을 수 있다”

“검증되지 않은 인공지능은 임상시험을 거치지 않은 신약보다 위험하다.”

전진한 보건의료단체연합 정책국장은 ‘EU와 미국은 왜 인공지능(AI)을 규제하려는가’를 주제로 지난 20일 국회에서 열린 토론회에서 이같이 주장했다. 전 국장은 이날 ‘건강권과 AI-은밀한 살인자 AI 규제, 포기할 것인가’를 주제로 발표를 진행했다.

◇ 보건의료에 검증되지 않은 AI 들어올 경우 피해 크다

전 국장은 “AI에 국한하지 않더라도 충분치 않은 검증과 규제가 안전과 생명, 인권을 위협할 수 있다는 사실을 수없이 경험한 바 있다”고 말했다.

전 국장은 이날 보건의료 분야에서 부실한 규제가 일으킨 참사의 예시로 ‘인보사 사태’를 들었다. 해당 사건은 식약처가 인보사를 연골세포를 이용한 관절염 치료제라는 기업의 말만 믿고 치료제로 허가했는데, 실제로는 연골세포가 아닌 종양을 유발하는 것으로 밝혀진 사건이다.

그는 해당 사례를 예로 들며 “‘규제가 혁신을 막는다’는 신자유주의 기업규제완화 논리가 사회를 지배하고 있지만, 오히려 사람들의 안전과 생명을 지키기 위해 국가가 엄격한 규제와 검증을 해야 할 필요는 점점 더 분명해지고 있다”고 주장했다.

전 국장은 AI 또한 인보사의 경우와 다르지 않다고 강조했다. 그는 “오늘날 보건의료 영역에서 산업계와 규제완화론자들은 AI 같은 신기술에 대한 규제는 효과가 없거나 불필요하다고 주장하고 있지만, 새로운 기술이라고 근거에 기반한 검증을 회피할 명분은 되지 않는다”고 말했다.

그는 이어 “검증되지 않은 AI는 검증되지 않은 의약품보다 훨씬 더 위험한 결과를 초래할 수 있다”며 “AI는 단지 개인에게 생의학적 문제를 일으키는 데 그치지 않고 불특정 다수에게 생명권, 건강권을 포함한 광범위한 안전침해를 일으킬 수 있다”고 설명했다.

◇ 검증되지 않은 의료AI가 낳을 문제는?

전 국장은 이날 검증되지 않은 의료AI가 낳을 문제를 △부정확한 진단과 치료로 개인의 건강 위협 △대규모 의사결정 시스템이 낳는 집단적 건강문제 △의료 불평등과 차별 강화·영속화 △의료비 증가와 상업화 추세 가속화 △의사결정의 책임소재 문제와 의료현장의 혼란 등 총 5가지로 꼽았다.

전 국장은 ‘부정확한 진단과 치료로 개인의 건강 위협’을 EU 등 세계 각국이 AI에 대한 규제를 강화하려는 이유로 꼽았다.

그는 “2011년 IBM사의 의료AI 왓슨은 유명 퀴즈쇼에서 인간 챔피언을 이기며 화려하게 등장하면서 의료계에 진출했다”며 “IBM은 왓슨을 ‘암 치료의 혁명’이라고 홍보했지만 제대로 검증된 바 없었다”고 말했다. 이어 “IBM은 이런 문제를 알면서도 홍보와 마케팅에 열을 올렸고, 많은 병원도 왓슨이 환자에게 도움이 되지 않는다는 걸 알고도 경쟁적으로 도입했다”고 설명했다. 전 국장에 따르면 IBM은 최근 왓슨을 헐값에 매각하고 시장에서 철수했는데, 환자들이 불필요하게 지출한 의료비에 대해서는 제대로 평가되거나 보상된 바가 없다.

또한 전 국장은 ‘대규모 의사결정 시스템이 낳는 집단적 건강 문제’에 대해선 의료AI의 경우 개별 환자를 넘어 더 많은 사람에게 영향을 미칠 수 있다고 지적했다. 체계화된 AI 시스템에 오류가 있으면 단기간에 수많은 사람을 위험에 빠뜨릴 수 있다는 설명이다.

‘의료 불평등과 차별 강화·영속화’와 관련해서는 AI가 차별과 편견으로 가득한 사회의 데이터를 학습한다는 점을 들었다. 전 국장에 따르면 영국에서는 바빌론이라는 AI 챗봇을 도입한 적 있는데 같은 증상을 두고도 성별에 따라 안내가 달랐다. 또한 AI가 의료접근성을 높일 것이라는 일각의 주장에 대해서는 “자신의 건강에 걱정이 많은 건강한 사람들만 이러한 시스템을 적극적으로 이용할 것”이라며 “자원이 부족한 이들은 오히려 의료서비스에서 더 멀어지는 악순환을 낳게 될 것”이라고 경고했다.

◇ 의료비 증가·상업화 추세 가속화 우려

전 국장은 ‘의료비 증가와 상업화 추세 가속화’에 대해서도 비판했다. AI 기술에 대한 의존은 의료를 상업 부문으로 넘겨주는 결과를 초래할 수도 있다는 것. 그는 “공중 보건적 개입보다 새로운 치료옵션 제공의 한 수단으로 자리매김한 AI는 본질적으로 불평등을 더 강화할 수 있다”고 말했다.

이에 따라 의료비가 더 높아질 가능성도 있다. 전 국장은 “AI는 환자의 사소한 증상과 생체징후들을 더 예리하게 포착해 더 많은 검사를 요구하고, 더 많은 청구서를 내밀 것”이라며 “이는 꼭 필요한 의료행위가 아닌, 불필요하고 우려되며 때로는 해로운 조치일 것”이라고 지적했다.

또한 ‘의사결정 책임소재 문제와 의료현장의 혼란’도 문제로 부상할 것으로 전망했다.

전 국장은 “AI는 의사결정 결과의 책임 문제라는 새로운 도전을 제기한다”며 “AI의 도입은 의료인과 의료기관의 의사결정을 개선할 수 있다는 개념에 기반을 두지만, AI의 특성인 불투명성과 확장성, 복잡성 등은 책임 소재를 어렵게 만든다”고 설명했다.

전 국장은 “의료AI의 경우 정확성을 높여야 한다는 기술적 문제뿐 아니라, 불평등과 차별이 없어야 한다는 윤리적 문제도 고려한 설계와 검증이 있어야 한다”면서 “그러나 한국의 규제 당국은 설명 가능성은커녕 최소한의 기계적 정확성 검증의 수준도 포기하고 있다”고 지적했다.

◇ 기술에 대한 제대로 된 검증 선행돼야

전 국장은 “AI에 대한 검증을 포기하는 것은 개별 제품이나 의약품·의료기기의 안전화 효과에 대한 평가를 무력화하는 것과는 차원이 다른 문제일 수 있다”고 주장했다.

전 국장은 이어 “시민사회는 진보한 기술을 적용하는 데 반대하지는 않는다”면서 “오히려 제대로 된 검증이 있고 그것이 보편적·공공적 이익으로 돌아올 때 기술은 사회적 신뢰를 얻을 수 있다는 점에 주목하고 있다”고 말했다. 다만 그는 이를 위해서 ‘우선허용·사후규제’ 원칙을 적용해서는 안 된다고 덧붙였다.

전 국장은 “기술의 검증이란 안전성과 유효성을 넘어선 사회적 논의를 필요로 한다”면서 “사회의 우선순위가 개별화된 설루션을 제공하는 새로운 기술의 적용인가, 아니면 공공적 사회정책인가 하는 사회적 논의도 민주적으로 이뤄진 후에 기술적용을 결정할 수 있어야 한다”고 강조했다.