인공지능 스타트업을 운영하면서 금융, 제조, 유통, 공공, 의료 등 다양한 산업 분야에서 일하는 고객들을 만나곤 한다. 폭넓은 산업 분야만큼이나 고객들의 질문은 다양하기 이를 데 없지만, 인공지능 관련한 고객들의 고민은 대체로 하나의 맥락으로 귀결된다. 그것은 바로 어떻게 하면 제대로 된, 쓸만한 인공지능을 만들어 실제 현장의 업무에 적용할 수 있느냐이다.

가보지 않은 길 위에 서서

요 근래는 인공지능이나 AI라는 용어가 일상생활에서도 쉽게 만날 수 있을 정도로 친숙하지만, 사실 불과 몇 년 전만 해도 그렇지 않았다. 인공지능은 낯선 개념일 뿐 아니라 때론 존재 자체를 인식하지 못했다. 그러나 최근 인공지능에 대한 관심이 폭발적으로 늘고 있다.
늘 새로운 기술, 개념, 사상은 호기심을 유발하지만, 일정 수준 이상의 결과물, 성과 또는 사회적 합의가 담보되기 위해서는 그에 상응하는 충분한 성공과 실패의 경험이 축적되어야 한다. 그런데 인공지능이라는 이 놈은 단어 자체가 주는 뉘앙스로 인해 딱 오해를 불러 일으키기 십상이다. 지능이니까 사람처럼 뭔가를 다 알아서 해줄 수 있을 것이라고 생각하거나 심지어 요술방망이라 믿는 사람도 더러 있다. 아직 인공지능을 만드는 길은 꼬불꼬불하고 잡초도 무성한, 많은 사람이 밟아 보지 않은 길이다. 인공지능을 만드는 길에서 얻은 경험을 바탕으로 성공적인 인공지능 모델을 만들기 위한 몇 가지 고려사항과 최근 트렌드를 공유하고자 한다.

새로운 기술, 개념, 사상은 호기심을 유발하지만,
일정 수준 이상의 결과물, 성과 또는 사회적 합의
가 담보되기 위해서는 그에 상응하는 충분한
성공과 실패의 경험이 축적되어야 한다.


명확하게 문제를 정의한다는 것

첫째, 인공지능으로 풀고자 하는 문제가 명확해야 한다. 명확한 문제 정의는 모델 개발의 시작이자 끝이라 해도 무방할 정도로 중요하다. 문제가 명확하면 인공지능이 만들어낼 결과 또는 성능도 구체적으로 수치화 될 수 있기 때문이다. 인공지능 도입 관련해서 실제로 만났던 두 회사의 질문이다. “아시다시피 최근 사회적으로 새로운 사업 모델이 등장하면서 관련 법규의 해석이 쉽지 않은 사례들이 종종 등장합니다. 이처럼 쟁점이 될 수 있는 사항에 대해서 관련 법률을 검토해서 인공지능이 전문가적인 의견을 줄 수는 없을까요? 예를 들면 어떤 사업의 승인 가능 여부와 예상 승인 확률을 덧붙여서 말입니다.” 모 공공기관의 법률 규제 관련 고위 담당자가 그리는 인공지능의 모습이다. “저희는 차량 대출을 하는 데 차종이 대략 1,500종 정도됩니다. 하루 수천 건 대출 상담이 들어오는데, 사진 이미지 두 장을 이용해서 차종, 모델, 색상, 번호판, 파손 여부, 진위 여부 등을 판별하는 인공지능을 만들 수 있을까요? 현재 직원들이 수기로 하는 작업을 인공지능으로 대체하고 싶습니다.” 모 금융기관 담당자의 인공지능 요구사항이다. 덧붙여 담당자는 인공지능의 예상 성능이 각 분야별로 적어도 97~99%의 정확도가 되어야 한다고 구체적으로 명시했다.

인공지능 기술 수준은 인간의 말이나 글에서 숨겨진 문맥과 의도를 파악해서 의미까지는 해석하지는 못한다. 다시 말하면, 현재의 인공지능이 모든 문제의 만병 통치약이 되지 못한다는 전제가 있다.


일견 두 회사의 요구사항은 별반 차이 없어 보인다. 조금 더 내용적인 측면을 살펴보면, 전자는 법률 분야의 자연어 처리, 후자는 이미지 처리 영역에 해당한다. 대여섯 살 어린이에게 너무나 쉬운 일이 기계에게는 상상하지 못할 정도로 어려운 경우가 많다. 물론 이 반대의 경우도 허다하다. 이는 기계로 만들어지는 지성이 인간의 뇌가 사고하는 체계와는 방식이 다르기 때문이다. 법률 규제 관련 담당자의 요구사항은 자연어 처리와 관련이 깊은데, 현재의 인공지능 기술 수준은 인간의 말이나 글에서 숨겨진 문맥과 의도를 파악해서 의미까지는 해석하지 못한다. 다시 말하면, 현재의 인공지능이 모든 문제의 만병통치약이 되지 못한다는 전제가 있다. 잘못 끼워진 첫 단추는 결국 모든 단추를 다시 처음부터 꿰게 한다. 인공지능 모델을 만드는 첫 단계도 이와 같다. 따라서 현재 인공지능의 기술 수준, 관련 분야의 유사 사례와 연구 등을 참고해서 구축하고자 하는 인공지능의 목표와 계량화 할 수 있는 성능을 분명하게 정의해야 한다.

좋은 씨앗이 결국 좋은 열매가 되는 것처럼 양질의 데이터는 인공지능의 성능에 결정적인 역할을 한다. 모두를 놀라게 한 알파고의 성공도 결국 수천 년 쌓여 왔던 바둑 기보라는 방대한 양질의 데이터가 있었기에 가능했다.


좋은 씨앗은 좋은 열매가 된다

둘째, 양질의 데이터가 잘 준비되어 있어야 한다. 여기서의 양질의 데이터란, 모델 구축에 관련한 내외부 데이터가 폭넓게 접근가능하며, 아울러 데이터 자체의 질적 수준이 우수함을 의미한다. 인공지능이라고 하면 스스로 알아서 뭔가를 다 할 수 있는 특별한 것으로 생각할 수 있지만, 현재의 보편적인 인공지능은 주어진 데이터와 다양한 알고리즘들로 구성된 함수의 조합일 뿐, 그 이상도 이하도 아니다. 사람은 하나를 가르치면 열을 알지만 기계는 오로지 가르쳐준 대로만 업무를 수행한다. 이는 인공지능 알고리즘이 입력된 데이터에서 연산을 하여 실제값과 예측값의 오차를 최소화 해 최적화 하는 방식을 취하기 때문이다. 좋은 씨앗이 결국 좋은 열매가 되는 것처럼 양질의 데이터는 인공지능의 성능에 결정적인 역할을 한다. 모두를 놀라게 한 알파고의 성공도 결국 수천 년 쌓여 왔던 바둑 기보라는 방대한 양질의 데이터가 있었기에 가능했다.
실제 여러 회사를 방문해 보면 데이터 준비 수준은 실로 천차만별이다. 데이터가 전혀 없거나, 있어도 그 데이터가 정확한지 자체적으로 판단할 수 없는 경우도 있다. 조금 형편이 나아서 나름 상당한 규모의 데이터를 가지고 있는 경우도 있지만, 구조를 들여다보면 분석 및 모델 구축에는 적합하지 못한 경우도 허다하다. 공정라인의 설비에서 엄청난 양의 데이터가 실시간으로 발생하는 제조업 분야가 대표적이다. 분석 컨설팅으로 시작했다가 제조 설비에서 쏟아지는 데이터를 분석에 적합한 형태로 추출, 정제, 가공하다 보면 계약한 컨설팅 기간이 끝나곤 한다. 데이터가 대략 분석에 맞는 골격을 갖추었다 해도 질적 측면을 간과해서는 안 된다. 실제 상황에서는 절대 발생할 수 없는 값(Value)은 물론 과다한 결측치(Missing value), 이상치(Outlier) 등이 종종 관찰된다. 적고 부정확한 데이터는 결국 인공지능 모델의 성능을 왜곡시킨다.
“인공지능, 뭐 만들 수 있겠지만, 결국 그거 데이터 모으는 노가다 작업 아닙니까?” 얼마 전 국내 어느 대기업과 2020년 신규 사업 아이디어를 검토하는 자리였다. 담당 임원은 물론 팀장과 부서원까지 대략 20명이 배석한 자리에서 한 직원이 한치의 주저함도 없이 말했다. 내심 적잖이 놀랐다. 좀 더 먼 미래에는 어떨지 모르겠지만, 지금 인공지능을 만들려면 데이터 없이는 시작조차 불가능하다. 최근에는 정부에서도 인공지능 개발을 촉진하기 위해 이미지, 음성, 자연어 등의 다양한 학습 데이터를 제공하고 있으며 학습용 데이터를 전문적으로 공급하는 회사도 있다. 그리고 조금만 부지런히 발품을 팔면 인터넷에서 예상 외로 많은 양의 데이터를 모을 수 있다. 분명 데이터를 모으고 정리하는 작업은 귀찮은 일이지만, 궁극적으로 양질의 데이터는 좋은 인공지능으로 보답을 한다.
데이터 관련 최근 두드러진 경향 중 하나로 다양한 데이터를 결합하는 데이터강화(Data enrichment)가 있다. 데이터강화는 기존 사내 데이터에 다양한 외부 원천인 통신사, 카드사, 온오프라인 마케팅, 공간정보 기반 등의 데이터를 분석에 맞도록 결합하여 사용하는 방식을 말한다. 프로모션에 대한 고객 반응률과 전환율 제고는 대부분의 마케팅 업무의 주된 관심사이다. 실제 수행했던 한 유통기업 프로젝트에서도 고객의 구매성향을 좀 더 깊이 이해하기 위해 고객 기본 프로파일(Profile) 이외에 구매 이력, VOC(Voice Of Customer), 상품 및 브랜드 속성정보 등 다양한 정형, 비정형 정보를 결합하여 분석했다. 기존 방식과 비교했을 때, 보다 우수하고 의미 있는 결과를 얻을 수 있었다. 데이터의 식별자(Key)를 고려한 데이터강화 방식은 이전에는 전혀 보지 못했던 새로운 비즈니스 통찰력(Insight)을 제공하기도 한다. 향후 데이터3법이 본격 시행되면 이와 같은 데이터의 융복합은 더욱 확대되리라 전망된다.


모델에 적합한 알고리즘을 선택할 것

셋째, 모델에 적합한 알고리즘을 잘 선택해야 한다. 적정한 모델은 이미 정답이 있다기보다는 데이터가 보여주는 특성에 기반하여 찾아져야 한다. 최근에는 전통적인 분석기법 대비 기계학습(Machine learning) 알고리즘이 인공지능에 많이 이용된다. 눈여겨볼 트렌드 중 하나로 바로 딥러닝(Deep learning) 알고리즘 등장을 빼놓을 수 없다. 딥러닝은 기계학습 모델 중에서 다수의 층이 있는 신경망을 사용하여 학습하는 알고리즘을 말한다. 딥러닝 알고리즘은 일반 기계학습 모델과 달리 데이터 자체에서 분석에 적합한 특징을 스스로 추출하면서 문제를 해결한다. 2012년 국제적인 영상인식시스템의 성능을 겨루는 대회에서 딥러닝 기법을 사용한 팀이 우승했는데, 압도적인 성능 차이로 세상을 놀라게 했다. 딥러닝은 인공지능의 가능성을 다시 한번 보여주었으며, 현재 다양한 산업 분야에서 실질적인 성공사례를 만들고 있다. 새삼스레 알파고를 언급할 필요도 없다. 자율주행, 영상진단, 음성인식 및 복제, 제조 사례에서 공정제어 등 주변에서 많이 회자되고 있는 사례에서 딥러닝 기법이 폭넓게 적용되고 있다.
마지막으로 훈련, 튜닝(Tuning)을 반복적으로 하면서 모델 성능을 지속적으로 개선해야 한다. 모델 탐색과 선정 관련해서 개인적으로 좋아하는 말이 있다. “모든 모델은 틀렸다. 그러나 몇몇은 유용하다(All models are wrong, but some are useful).” 영국의 통계학자 조지 박스(George Box)가 한 말이다. 분석 모델을 바라볼 때, 시계열(Time-series) 데이터나 분류 문제에서 성능이 좋다고 알려진 몇몇 종류의 알고리즘이 있다. 이들 중 몇 개 골라서 강력한 성능을 가진 컴퓨터로 훈련시키면 뚝딱하고 훌륭한 인공지능이 나와야 하는데, 사실 이는 소 발에 쥐 잡는 격이다. 상당수가 초기 목표한 성능과는 현격한 차이가 난다. 이 때는 데이터를 다시 바라보면서 데이터가 드러내는 특성에 맞는 알고리즘을 재차 고민해야 한다. 결정경계(Decision boundary)를 미세하게 조정하는 알고리즘의 하이퍼파라메터(Hyperparameter) 튜닝만으로는 극적인 모델 성능 향상은 기대하기 어렵다. 조지 박스가 말했듯이, 알고리즘이니 모형이니 하는 것들은 어떤 현상을 설명하는 하나의 참고 방식이지 절대적인 정답이 될 수 없다. 시행착오를 거듭하면서, 쓸만한 인공지능 수준을 얻을 때까지 여정을 지속해야 한다. 마치 어린아이가 자라면서 지능도 함께 자라는 것처럼 말이다.

조지 박스가 말했듯이, 알고리즘이니 모형이니 하는 것들은
어떤 현상을 설명하는 하나의 참고 방식이지 절대적인 정답이 될 수 없다.
시행착오를 거듭하면서, 쓸만한 인공지능 수준이 될 때까지 여정을 지속해야 한다.

미국의 한 대학교에 수십 명의 학자들이 모여 들었다. 그들은 지능을 가진 기계를 꿈꾸었고, 이름을 고민하다가 인공지능(Artificial Intelligence)이라 부르기로 했다. 이 때가 한국은 아직 전쟁의 상처가 채 아물기도 전인 1950년 중반이었다. 성경에는 하나님이 사람을 만들고 생기를 불어 넣었다고 적혀 있다. 사람처럼 무엇이든 척척 할 수 있는 인공지능. 이 꿈을 이루기 위해 전 세계의 수많은 연구자들이 기계에 지능이라는 생기를 불어 넣는 노력을 한 지 반세기가 넘었다.
일각에서는 인류의 모든 지성을 합친 것보다 우수한 인공지능인 특이점(Singularity)이 도래할 시기를 점치기도 한다. 인류는 달을 보고 우주를 동경했고 이제는 화성에 인류를 정착시키는 꿈을 꾼다. 광대하고 가혹한 우주 공간에서 한 번의 비행만으로 인류가 화성에 정착하기는 어려울 것이다. 달에 우선 정착지를 만들고 이를 경유지로 점차 더 먼 우주로 나아가야 한다. 반세기를 꿈꿔오던 인공지능이 새로운 가능성을 보이며 우리에게 다가왔다. 지구에서 달로, 달에서 화성으로, 더 먼 우주로 도약하려는 인류처럼 인공지능의 수준도 이처럼 진보하기를 기대해본다.