logo

[AI의료기⑪]불투명한 알고리즘의 한계..."설명 가능한 인공지능의 대두"

[블루이코노미 한승호 기자] 인공지능이 의미있는 결정을 내려도 결정 근거를 설명할 수 없으면 활용은 어렵다.

의학 분야뿐만 아니라 금융, 산업, 공공, 군사 분야의 인공지능의 적용이 가능하고 예상밖으로 효율적 결정이 나올 수 있다. 그러나, 인공지능의 판단의 근거를 설명할 수 없다면 실제 활용이 어렵다.

딥러닝이 어떠한 계산 과정을 거쳐서 도출되는 것일까? 왜 그러한 결과가 발생했을까?
딥러닝 결과를 사용자가 판단하는 것이 중요하다.

기존 데이터 분석은 설계자가 의도한 구조로 작동했기 때문에 기계가 스스로 출력값의 처리 방식에 대하여 설명할 필요가 없었다. 딥러닝은 서로 복잡하게 연결된 수백개의 계층에서 수백만개의 변수들이 상호작용 하는 구조로 인간이 인지가 불가능한 영역이다.

딥러닝은 기본적으로 분석 과정에서 불투명한 알고리즘으로 판단 과정을 파악하기 어려운 블랙박스 방식이어서 인간의 인지 영역을 넘어섰다. 전혀 의미 없는 데이터를 학습하기도 한다.

미국 국방부 방위고등연구계획국(DARPA)는 2017년 설명 가능한 인공지능 개발을 착수했다. 현재 DARPA는 심화신경망 안의 개념에 라벨을 붙이는 법을 연구 중이다. 심화신경망 내부에서 자체 대화가 가능하도록 하여, 인공지능 내부에서 무슨 일이 일어나고 있는지를 스스로 말하게 만드는 '햄릿전략'으로 불린다.

center
시베리안 허스키, 늑대 사진 판별 오류 예시, 자료: University of Washington
서울아산병원은 인공지능에게 흉부 X-ray를 학습시켰다. 인공지능은 다른 질환과 달리 심장 비대증은 학습 결과는 좋았지만 전혀 다른 것을 학습한다는 것을 알게 되었다. 심장 비대증은 심장이 커지는 것을 X-ray로 진단하는 것이다. 딥러닝이 실제로 심장의 크기를 보지않고, 심장비대증 환자의 X-ray에 있는 특징인 수술자국을 보고 있다는 것을 CAM으로 확인했다.

미국 피츠버그 대학병원은 10~11%에 이르는 폐렴 환자 사망률을 낮추기 위해 신경망 기반 머신러닝 연구를 진행했다. 인공지능은 천식 증상이 나타나면 폐렴이 호전된다는 엉뚱한 결과를 도출했다.

폐렴 환자에게 천식 증세가 나타나면 위중하기 때문에, 의료진의 집중 진료로 폐렴 증상이 호전된 결과였다. 인과관계를 설명하지 못한 상태에서 오직 결과 값에만 의존해 발생한 판단 오류였다.

미국 워싱턴 대학교의 마르코 리베이로는 논문을 통해 인공지능의 오류를 보고했다. 인공 지능은 시베리안 허스키를 늑대로 분류하며, 판단 근거로 배경에 눈이 있기 때문으로 제시했다.



한승호 기자 hoho@blueconomy.kr
<저작권자 © 블루이코노미, 무단 전재 및 재배포 금지>