유럽의 대표적 전통 에너지 기업 EDP의 ’50주년 기념 갈라 디너’. 굴뚝과 발전소 시대의 상징인 기업의 보수적인 축제 자리에서 역사학자 유발 하라리의 ‘AI와 인류의 미래’에 대한 대담이라니요? 언뜻 보면 애매한 조합 같았지만, 지난 50년의 세계를 지배한 것이 전력(Electricity Power)이었다면, 향후 50년을 지배할 진짜 권력(Political Power)은 데이터와 AI일 테니 어울린다면 또 어울리는 주제일지도 모릅니다.
하라리는 이 자리에서 AI가 단순한 도구가 아닌, 인간의 언어와 시스템을 장악할 ‘독립적 행위자(Agent)’로 진화했다고 단언하는데요. 50년 전통 기업 기념회에서 던져진 이 화두를 출발점으로 하라리가 던진 서늘한 통찰과 그에 대한 저의 시각을 함께 적어볼까 합니다.
전체 대담을 관통하는 하나의 화두는 바로 ‘언어’입니다
인류는 언어를 생성 혹은 습득하면서 지구의 주도권을 잡기 시작했죠. 그리고, 그 수단으로 법률·종교·금융 등 모든 문명 제도를 ‘기록’했습니다. 개인적으로는 언어가 기록에 용이했기 때문에 지금에 이를 수 있었다고 생각해요. 문제는 그 인간의 전유물이었던 언어를 인간보다 더 뛰어난 수준으로 다루는 새로운 주체의 등장입니다. 네, 맞습니다. 바로 AI죠. 인공지능은 타고난 Bureaucratic Native(뷰로크래틱 네이티브)로 인간과는 비교도 할 수 없을 정도로 모든 규제에 능합니다. 하라리는 이런 인공지능의 특성으로 인해 언어로 구성된 금융·법률·행정 등 거대 관료제 네트워크가 인공지능에 의해 장악되어 인류가 파멸에 이를 것이라 이야기합니다.
하라리는 대화로 타협해 온 민주주의의 본질을 먼저 소개하고, 현재 SNS나 여러 플랫폼들이 인공지능 알고리즘으로 장악되고 있는 현실 하에서 우리가 마주하게 될 위협을 이야기합니다. 사실 기존에도 구글, 네이버 등 여러 검색기능을 제공하는 기업에 의해 대중들에게 전달되는 정보가 큐레이팅되고 있었죠. 이들은 과거 신문사의 편집자 역할을 수행하며 1면의 기사를 조정했습니다. 이후 SNS의 등장으로 불특정 개인들이 여론을 만들며 대중의 관심을 이리저리 흔들고 있고요. 이런 위협은 기존에도 존재했고, 그 결과로 각 국가는 여러 예측 불가능한 정치적 상황에 놓이게 되기도 했잖아요?
문제는 인공지능의 상상을 초월한 생산력입니다. 인간은 흉내도 낼 수 없는 짧은 리드타임으로 넷상을 원하는 정보로 가득 차게 만들 수 있다는 것. 인공지능은 금융·법률·행정 들을 모두 이해하고 이를 적절한 논리로 버무려 마치 사람처럼 의견을 퍼뜨립니다. 하라리는 진실에 비해 허구가 코스트가 적게 들고 달콤하기 때문에, 인공지능의 그럴듯한 허구는 마치 진실처럼 받아들여질 것이라 이야기합니다. 그는 최근 아르헨티나에서 AI에게 법적 인격 Legal Personhood을 부여하려 하는 움직임도 소개하며, 실제로 AI가 자신의 모든 지식을 사용해서 복잡한 프레임을 구축하고 이를 기반으로 무지한 인간을 사회적으로 공격할 수 있다고 경고하고 있어요.
이렇게 모든 인프라가 AI 네트워크로 통합된 사회는 극단적인 권력 집중이 일어나기 쉬운 구조가 됩니다. 다시 말하자면, 미국·중국, 소수 테크리딩 기업이 버튼 하나로 타국 혹은 기업의 기능을 마비시킬 수 있게 된다는 거예요.
이 주장의 중심에는 언어를 이해하고 구사할 수 있게 된 AI가 도구 Tool의 껍데기를 벗고 스스로 판단하는 행위자 Agent로 진화했다는 전제가 깔려 있습니다. Agent라는 말은 요즘 인더스트리에서도 마치 일상용어처럼 듣게 되는 단어죠. Agent는 스스로 정보를 수집하고 판단을 내려 의사결정까지 수행하는, HOOTL Human-out-of-the-loop 프로세스의 주체입니다. 보험사의 지급 심사자 역할을 수행하는 AI Agent라면 고객의 지급 심사를 스스로 수행하여 보험금을 지급하고, 아르헨티나 미래의 기업 운영 Agent는 기업영속을 위한 스스로의 의사결정을 통해 필요한 여론을 조작하거나 기업에 방해가 되는 대상에 소송을 걸기도 하겠죠.
하라리는 지능 Intelligence과 지혜 Wisdom을 구분하고, 인간이 지혜의 주도권을 놓지 말아야 한다고 이야기합니다. 인공지능을 지능확장을 위한 도구로 현명하게 사용해야 하고, 그런 환경을 만들기 위한 엄격한 안전 기준을 도입해야 한다고 호소하고 있어요. 기차가 승강장을 떠나기 전인 지금 안전한 지능 체계를 디자인하고 인류 스스로의 지혜를 기르는 ‘지혜의 혁명’을 완성해야만 인류가 스스로 창조한 기술에 통제권을 잃지 않을 수 있다는 거예요. 하지만 이미 기차가 떠난 것처럼 보이는 것도 사실입니다. AGI를 향한 무한 경쟁이 본격화됨에 따라, 초기 일부 AI 기업들이 제기했던 AI 규제 담론은 이제 그 흔적조차 찾아보기 어려워졌다는 것을 우리 모두는 경험했으니까요.
하라리는 인류가 지혜를 소홀히 한다면 스스로 만든 관료제 안에서 인공지능의 하수인으로 전락할 것이라는 것을 엄중히 경고하고, 안전한 기술 통제와 인간성 회복을 위해 우리의 즉각적인 대처를 호소합니다
개인적으로 불완전하게 인간에게 기생하던 언어가 결국 완벽한 프레임웍인 인공지능을 만나 독립했다는 언어 주체론 주장에 힘을 더하고 싶어 집니다. 사실 저는 현존하는 언어도 완벽하지 않다고 생각하고 있어요. 개인의 의견을 전달하는데도, 세상의 현상을 설명하는 도구로도, 현재의 언어는 불완전하고 비효율적입니다. 그런 도구로도 이렇게 엄청난 결과를 만들어냈다는 것이 중요하죠.
저는 인류의 가장 큰 위기는 인공지능이 스스로 더 효율적이고 완벽하며 인간이 이해할 수 없는 언어를 만들어내는 때에 올 것이라고 생각해요. 인간이 더 이상 세상의 메커니즘을 이해할 방법이 없게 될 때, 인간은 하리리의 말 그대로 인공지능의 하수인으로 전락해버리고 말지도 모릅니다.
인공지능을 꽤 많이 사용하는 편이지만, 사용하면 할수록 미래가 더욱더 암울하게 느껴지는 게 저만의 기우이기를 바랍니다.
