2020년, 인공지능을 피할 수 없다. 일상생활 가운데 인공지능은 알게 모르게 그리고 생각보다 훨씬 자주 이용되고 있다. 온라인으로 물건을 구입했거나, 얼굴 인식으로 스마트폰 로그인을 했거나, 페이스북에 들어가서 친구 소식을 확인했거나, 구글에서 무언가를 검색했다면 인공지능과 만난 것이다. 인공지능 스피커는 길 안내도 잘하고, 듣고 싶은 음악도 틀어준다. 외국어 통역도 곧잘 한다. 이것이 끝이 아니다. 인공지능은 손님에게 은행이 대출을 해줄지 말지를 결정하는 데에도 도움을 주고 의사가 질병을 더 정확히 진단하는 데에도 도움을 주고 있다. 내가 사고 싶은 물건이나 먹고 싶은 음식을 어떻게 알고 적시에 광고도 한다. 이렇게 이미 많은 일을 인공지능이 해내고 있다.

인공지능의 판단과 행위를 이해하기 위해

일상 깊숙이 관여하고 영향을 끼치는 인공지능에 대한 궁금증이 커지고 있다. 최근 인공지능과 알고리즘이 유권자 타깃 마케팅에 이용된 사건과 얼굴 인식에 있어 내재된 어떤 바이러스가 드러났다는 기사가 신문 헤드라인을 장악했다. 인공지능에 대한 우려가 확대되며 인공지능이 믿을 만한가 다시 생각하는 계기가 되었고, ‘설명 가능한 인공지능’이 관심을 받게 되었다. 이미 1970년대 제1세대 인공지능 시스템인 전문가 시스템이 도출 결과를 전문가들에게 이해시키지 못하면서 설명 가능한 인공지능의 개념과 중요성이 인식되기 시작했다. 설명 가능한 인공지능은 말 그대로 인공지능의 판단과 행위를 사람이 이해할 수 있는 형태로 설명할 수 있는 것을 의미한다.
머신러닝을 ‘블랙박스 AI’라고도 부른다. 머신러닝은 사용자의 요청에 기계가 알아서 처리하고 응답하지만 데이터 처리 과정과 왜 그런 결과에 도달했는지 사람이 알 수 없다는 의미다. 설명 가능한 인공지능은 이것과 대비하여 사용되고 있는 개념이다.
예를 들어 기존의 신용평가가 아닌 새로운 인공지능 알고리즘에 의해 은행 대출이 거부되었다고 하자. 그 알고리즘이 블랙박스인 경우 이해 당사자 모두에게 혼란스런 경우가 될 수 있다. 은행은 왜 이런 일이 일어나고 있는지 말할 수 없으며 고객은 대출을 받기 위해 무엇을 해야 할지 모른다. 그런데 만약 설명 가능한 인공지능이었다면 이런 혼란을 피해갈 수 있을 뿐 아니라 구제책도 제공하게 될 것이다. 설명 가능한 인공지능은 인공지능 속내를 명확하게 보게 함으로써 인공지능과 알고리즘 자체를 개선하는 데 도움을 준다.



편향이 사실이 되게 하지 않기 위해

머신러닝은 제공된 데이터 또는 생성된 통찰력으로부터 결론을 도출하는 데 탁월하다. 최근 머신러닝이 미국인 스마트폰 사용 실태를 파악, 대출상환 능력과 스마트폰 충전 행동의 연관성을 밝혔다. 그러나 머신러닝이 어떻게 생각했는지에 대한 설명이 부족하다. 머신러닝이 학습한 데이터 세트에 편향이 있었다면 그 편향은 머신러닝에게 편향이 아닌 사실이 된다(Bias In, Bias Out). 따라서 설명 가능한 기술을 사용하여 머신러닝의 편향을 감지한 다음 제거함으로써 머신러닝과 사용자 간의 신뢰 수준을 보장할 수 있게 된다.



이제 설명 가능한 인공지능 개발을 위한 기술 접근 방법을 알아보자. 첫 번째 기술 접근 방법은 신경회로망 노드에 설명딱지(레이블)를 붙이는 것이다. 머신러닝 신경회로망은 수백만 개의 노드로 구성된 수십만 개의 레이어를 가지고 있다. 이는 인간 뇌의 구조와 닮아 있고 작동하는 패턴도 유사하다. 긴 수학방정식을 푼다고 할 때 이 문제가 수백만 개의 노드에서 나뉘어서 풀어지기 때문에 개별 노드에서 어떤 의사 결정이 일어나는지 매우 불투명하다.
미국 국방부 산하 방위고등연구계획국(이하 DARPA) 설명 가능한 인공지능 연구팀은 머신러닝 신경회로망 일부 노드는 인간이 이해할 수 있는 방식으로 똑같은 일을 반복적으로 하는 기능이 포함되어 있다는 사실을 발견했다. 예를 들어 머신러닝 신경회로망이 고양이를 인식하는 훈련을 받는다고 가정하자. 머신러닝 신경회로망은 고양이의 꼬리, 귀 또는 눈과 같은 이미지의 특정 부분에 특정 노드를 지정하여, 큰 이미지를 만들기 위한 퍼즐 맞추기 게임처럼 다양한 대상을 인식한다는 것이다. 설명 가능한 인공지능 연구팀은 인공지능이 그림의 어느 부분을 주목하고 있는지 노드 활성화를 통해 역추적, 그러한 노드에 설명딱지를 붙였다. 이는 인공지능이 최종 결론에 도달하기까지 실제로 어떤 형상들을 사용하는지에 대한 정보를 알게 되는 계기로 발전했다.



두 번째 기술 접근 방법은 의사결정트리를 이용한 설명모델을 만드는 것이다. 이 기술은 정확도는 떨어지지만 설명력이 높은 의사결정트리와 연계해 모델 간 일치성을 찾을 수 있다. 설명 가능한 인공지능 연구팀은 의사결정트리 기술을 활용하여 딥러닝 시스템의 처리 과정을 설명할 수 있는 ‘추적자’가 포함된 보다 풍부하고 정확한 모델을 만들려고 한다. 매우 복잡한 시스템을 학습시키면서 한편으로 의사결정트리를 생성하는 시스템을 학습한다면 딥러닝의 신경회로망이 무엇을 하고 있는지 의사결정트리를 활용해 설명할 수 있다.
세 번째 기술 접근 방법은 신경회로망이 어떻게 작동되는지 이해하기 위해 고등 딥러닝 기술을 활용하는 방법이다. 이 접근법은 우선 인공지능이 자신이 하는 일을 설명할 수 있도록 데이터 처리 과정 설명딱지가 있는 소형 모듈 네트워크 라이브러리를 학습하게 한다. 첫 번째 딥러닝 시스템을 훈련하여 대상을 인식하고 최종결론을 내리게 한 다음 두 번째 딥러닝 시스템을 훈련하여 첫 번째 시스템이 어떻게 최종결론에 도달했는지에 대한 설명을 생성하게 한다. 이 접근법을 모델 유추 방법이라고도 한다. 의사결정이 어떻게 이루어지는지를 정확하게 설명하는 대신, 일반적으로 블랙박스 내부에서 일어나는 일을 설명할 수 있는 모델 시스템을 개발한다.

설명 가능한 인공지능, 승기를 잡아라

현재 설명 가능한 인공지능 개발에 가장 앞서 있는 곳은 DARPA라 할 수 있다. 특히 기밀정보 및 전략분석 분야와 무인자율시스템작동 분야에 실무자가 인공지능의 의사결정을 이해하고, 결과를 신뢰하여 효과적으로 업무를 수행할 수 있게 하기 위해 설명 가능한 인공지능을 개발하고 있다. 개발 연구의 핵심은 블랙박스 내부를 보여줄 수 있는 ‘설명 모델’과 사용자(실무자)를 위한 ‘설명 인터페이스’를 개발하는 것이다. 2021년 4월까지 개발 완료를 목표로 하고 있다.
클라우드 플랫폼 회사들도 앞다퉈 설명 가능한 인공지능을 개발하고 서비스 하고 있다. 아마존웹서비스(AWS)는 자사의 머신러닝용 통합 개발 환경 아래 개발자가 맞춤형 머신러닝을 보다 쉽게 생성하고 디버깅과 프로파일, 디텍션 등이 가능한 서비스를 개발했다. 구글도 모델의 예측에서 각 속성(Attributes)의 상대적 중요성을 보여주는 그래프 또는 데이터 유형에 따른 맵을 제공하는 도구를 개발하고 서비스 하고 있다.
국내의 경우, 2018년부터 울산과학기술원을 중심으로 설명 가능한 인공지능 연구가 진행 중에 있다. DARPA처럼 의사결정의 이유 제시를 위한 설명 가능한 인터페이스 개발, 의료 및 금융 분야에 적용 가능 모듈 개발 등이 주요 주제이다. 민간기업으로 위세아이텍, 마인드AI 등 인공지능 업체들이 설명 가능한 인공지능 개발에 참여하고 있다.




한편 유럽연합(EU)은 설명 가능한 인공지능을 법, 제도 측면에서 규제하고 있다. 유럽연합의 개인정보보호법(GDPR)은 알고리즘에 의해 행해진 결정에 대해 질문하고 결정에 관여한 논리에 대해 의미 있는 설명을 요구할 권리와 자동화 된 처리(프로파일링 포함)에만 근거한 결정의 대상이 되지 않을 권리 등을 명시하고 있다.


결국 중요한 건 최종 의사결정

인공지능이 일상생활에서 점점 중요한 역할을 수행함에 따라 인공지능의 신뢰 여부에 대한 관심은 더욱 높아지고 있다. 특히 국방, 의료 등 국민의 생명과 재산에 관계된 분야에 적용되는 인공지능 기술은 최종 결론에 어떻게 도달했는지 설명 가능해야 한다. 업계도 이러한 설명 가능한 인공지능의 중요성을 인식하고 있다. 최근 4,500명의 IT 의사결정권자를 대상으로 실시한 IBM 설문조사에서 응답자의 83%가 인공지능이 어떻게 결정에 도달했는지 설명할 수 있는 것이 보편적으로 중요하다고 답했다. 인공지능 배치를 고려하는 사람들의 75%, 이미 인공지능을 배치한 사람들의 92%가 중요하다고 답했다.
이런 결과를 봤을 때, 설명 가능한 인공지능이 모든 영역에 널리 퍼지게 될 것이라고 쉽게 전망할 수 있다. 그런데 사실 데이터 세트에 숨어 있을 수 있는 상관관계가 미묘하기 때문에 설명 불가능한 경우도 있을 것이다. 잠자기 전에 스마트폰을 충전하는 사람이 대출상환 능력이 높다는 것을 어떻게 설명할 수 있는가? 사람도 자신의 결정에 대한 설명이 가능하지 않을 때도 있다. 설명 가능한 인공지능 연구개발이 시사하는 바는 설명 가능한 인공지능이 신뢰할 수 있는 완벽한 시스템을 만들기 위한 확실한 방법이라기보다는 솔루션의 일부가 될 것이라는 것과 결국 최종 의사결정은 인간이 해야 한다는 것이다. 이는 설명 가능 인공지능의 결정 과정과 판단을 이해하고 조정할 수 있는 실무자의 역량이 더욱 중요해진다는 말이기도 하다.