딥러닝과 지능의 본질은 이미지?

딥러닝의 멀티모달화를 가능하게 할 수도 있는 흥미로운 최근 동향이 있어 소개할까 한다. '언어도 이미지로 취급해서 처리하는 방식'으로, 이에 호응하는 사람들이 요즘 적잖이 늘어나고 있는 모양이다. 그 원리를 간단히 설명하기가 어려운 편이라 어쩔 수 없이 설명은 생략하겠지만 놀랍게도 이 방식은 의외로 잘되고 있는 듯하다. 이 방식이 높이 평가받고 있는 데에는 이유가 있다. 앞에서 몇 차례 언급했다시피 딥러닝이 가장 잘하는 것이 이미지 처리이기 때문이다. 따라서 언어가 됐든 뭐가 됐든 어떻게든 이미지와 연결 지을 수 있으면 그 문제는 순식간에 딥러닝의 주특기가 되어 인간을 뛰어넘을 수 있는 것이 된다. 그리고 이미지는 상당히 많은 정보를 표현할 수 있다. 무엇이든 이미지화하는 순간 '가로 세로의 관계'로 표현할 수 있다. 그리고 가로 세로 관계를 가지고 거리적인 것뿐 아니라 시간적인 원근까지 표현할 수 있다(수학에서 그래프를 이용해 거리뿐 아니라 시간도 가로축, 세로축 으로 표현할 수 있듯이). 전적으로 개인적인 상상이기는 하지만, 논의가 더 진행되면 '지능이란 곧 이미지' 라는 결론을 내릴 수도 있게 되지 않을까 싶다. 생각해 보면 우리가 보통 머릿속에서 떠올리는 것들이란 3차원을 2차원으로 만든 이미지라고도 할 수 있다. 반대로 1차원의 숫자 열을 이 리저리 가공해서 2차원 이미지(그래프)화한 뒤 해석하기도 한다. 그러고 보면 인간은 2차원 이미지화가 가능한 것만 인식할 수 있는지도 모르겠다. 그래서 우리가 4차원 세상을 인식할 수 없는 것일 수도 있다. 또, 인간의 눈은 뇌의 부속품 따위가 아니며 눈이 있기 때문에 비로소 뇌가 진화한 것이라 보는 시각도 있다. 인간의 안구와 뇌와의 밀접한 관련성은 '지능의 본질은 이미지 임을 뒷받침하는 증거인지도 모른다. 이쯤에서 딥러닝에 관한 설명을 정리해 보겠다. 우리가 평상시 교육에서 접하는 과학은 기본적으로 환원주의로 이루어져 있다. 이는 '사물을 분석해서 세부 구조를 이해하면 전체를 이해할 수 있다”고 보는 사고방식이다. 과학자가 아니라도 이런 생각에 수긍하는 분이 많을 것이다. 환원주의는 절대 잘못된 시각이 아니다. 가령 독자가 시계를 완전히 이해해야 한다면 먼저 모든 부품을 분해해 톱니바퀴나 태엽의 구조를 이해한 뒤 각각의 움직임을 파악할 것이다. 그러고 나서 이번엔 부품을 재조립할 것이다. 그런 작업을 거쳐야 시계라는 하나의 메커니즘을 이해하는 것이다. 숙련된 시계 장인이라면 시계가 어떤 원리로 움직이고 어떻게 하면 성능이 향상되는지 명확히 설명할 수도 있을 것이다. 그러나 지능을 이해하려고 할 때는 이런 환원주의적 사고방식이 잘 통하지 않는다. 나는 10년 동안 포난자를 만들어왔고 따라서 지금 이 세상에서 포난자를 가장 잘 이해하는 사람이라 할 수 있다. 그렇지만 포난자가 왜 쇼 기를 잘 두는지 나는 100퍼센트 설명할 수 없다. 이미 말한 바와 같이 지금의 포난자는 실험적, 경험적 방식으로만 실력을 향상시킬 수 있으 며, 프로그램을 아무리 탈탈 털어본다 한들 포난자의 지능을 이해하기란 불가능하다. 딥러닝 역시 환원주의적 사고방식으로는 이해할 수 없다. 오늘날의 딥러닝은 과거의 인공 신경망 기법과는 달리 다양한 테크닉을 구사한 다. 다만 이 테크닉이라는 것이 거의 흑마술화하고 있을 뿐이다. 상당수의 흑마술은 아직 기술적으로 안정되지 않았고 결과가 나오기 전까지는 전문가의 감과 노하우가 필요하다. 자연과학이라면 몰라도, 같은 행동을 하면 기본적으로 같은 결과를 도출하는 컴퓨터라는 실험 환경에서조차 사람의 개인기가 필요하다니 알다가도 모를 노릇이긴 하 다. 그래서일까? 예전의 기계학습 연구 현장에서는 수학적인 방식, 즉 수식을 통해 설명하는 일이 많았다. 그런데 요즘 기계학습에서는 수식이 아닌 '딥러닝의 기분을 언급하는 사람이 많다. 워낙 복잡해서 수학적인 이치가 보이지 않는 현상을 인간은 기분으로 짐작하는 수밖에 없을 것이다. 나도 컴퓨터 쇼기 프로그램을 생각하 다가 수학적인 이치보다 ‘포난자의 기분을 헤아려보려 할 때가 많다. 다른 분야의 과학자에게 그런 상황을 설명하다가 '인공지능은 과학이 아니'라는 소리를 들은 적도 있다. 나는 그 말에 상당히 수긍했다. 그 분이 인공지능을 비판하려고 그런 말을 한 것은 아니다. 각각의 요소를 분해해서 개별적으로 이해하는, 과학의 환원주의적 사고방식과는 양 립되지 않음을 지적한 것이다. 결국, '지능에는 숨겨진 방정식이 있는데, 우리가 할 수 있는 것은 이것의 규명이 아니라, 아무리 파고들어도 그 끝은 어슴푸레해서 우리가 끝내 그것을 알 수 없을 것임을 받아들이는 것뿐이다. 이것이 요즘 인공지능 연구자들이 가지고 있는 느낌이다. 이처럼 인공지능은 프로그래머로부터 졸업한 데 이어 이제 과학의 환원주의에서도 졸업하려 하고 있다.