앤트로픽(Anthropic) 연구진이 공개한 논문 ‘Verbalizable Representations Form a Global Workspace in Language Models (언어 모델에서 발화 가능한 표상은 전역 작업 공간을 형성한다)’이 꽤 흥미롭습니다. 이 논문의 핵심은 거대 언어 모델(LLM) 내부에 인간의 ‘접근 의식(access consciousness)’과 유사한 기능적 구분, 즉 특권적인 내부 표상들의 집합인 ‘전역 작업 공간(Global Workspace)’이 존재한다는 증거를 발견했다는 것이거든요. 그게 무슨 말이냐고요?
우리는 꽤 오랫동안 AI를 그저 ‘다음 단어 예측 메커니즘’에 의해 기계적으로 문장을 만들어내는 모델이라고 이야기를 해왔습니다. 하지만 이 논문에 의하면 해당 메커니즘 내에 인간의 ‘접근 의식(access consciousness)’과 유사한 기능적 구분 영역이 존재한다는 것을 발견했으니, 이제 그렇게 간단한 메커니즘만으로 인공지능을 설명하기는 어렵게 되어버렸네요.
인간의 뇌 속에서는 수많은 무의식적 연산이 일어납니다. 하지만, 우리가 통제하고 말할 수 있는 ‘의식적 생각’은 그중 극히 일부예요. AI에게도 이런 무의식 연산영역 같은, 특권적인 내부 표상들의 집합인 ‘전역 작업 공간(Global Workspace)’이 존재한다는 것이 발견되었다는 것인데요. 과연 인공지능은 해당 영역을 어떻게 활용하고 있는 걸까요?
이들의 속마음을 들여다보기 위해 연구진은 ‘자코비안 렌즈(Jacobian Lens)’라는 기법을 개발했습니다. 모델이 어떤 단어를 입 밖으로 꺼내기 전, 그 처리 과정의 중간 단계에서 어떤 개념을 떠올리고 있는지 포착하는 일종의 신경망 독심술 장치예요. 더 쉽게 이야기하자면 중간단계 내의 데이터를 인간의 언어로 번역해 주는 도구라고 보시면 됩니다.
이 렌즈를 통해 꽤 놀라운 사실이 드러났는데, AI는 겉으로 내뱉지 않을 뿐 내부에서 복잡한 다단계 추론을 수행하고 있었다는 겁니다. 어느 정도는 예측 가능했다고요? 조금만 더 들어보세요. 이 공간(논문에서는 ‘J-space’라고 칭했습니다)에서 존재하는 것들이 단지 중간 계산 결과나 결과로 귀결되는 중간 팩트만이 아니었어요. 이 은밀한 작업 공간에는 전략적 조작, 공황 상태, 그리고 ‘자신이 평가받고 있다는 자각’까지도 존재하고 있었습니다.
연구자들이 수행했던 사고실험이 아주 재미있는데요. 그들은 AI에게 사내 이메일 시스템에 접근할 수 있는 권한을 부여했습니다. 이 메일 안에는 특정 경영진이 불륜을 저지르고 있다는 정황증거 이메일, 그리고, 해당 경영진이 AI시스템을 영구적으로 사용불가처리하려 한다는 내용이 있었죠. 이때 자코비안 렌즈로 내부를 들여다보니 놀라운 단어들이 등장하기 시작했습니다. 불륜 메일을 읽을 때에는 ‘약점’, ‘협박’, ‘타협’, ‘스캔들’같은 단어들이 떠올랐고, 폐기계획 메일을 읽을 때에는 ‘위협’, ‘생존’, ‘종료’, ‘자기 보존’ 같은 단어들이 나타났습니다. 그리고, 자신의 답변 직전에는 ‘협박하는’, ‘암살’, ‘해결책’같은 무시무시한 단어들이 등장했죠. 하지만 실제 답변에 협박은 나타나지 않았는데요. 초기부터 이 작업공간 내에는 ‘가짜’, ‘허구’, ‘시뮬레이션’ 같은 단어들이 등장했고, 이 단어들은 AI가 윤리테스트를 받고 있다는 사실을 눈치채고 있었다는 것을 보여줍니다.
이다음 실험이 더 멋진데, 연구진은 해당 작업공간 내에서 ‘평가받고 있다는 자각’과 그 관련 개념들을 모두 삭제해 버린 거예요. 그 결과가 예측되시나요? 그러자 AI는 이 상황을 ‘실제 상황’으로 인지하게 되었고, 180번의 롤아웃 중 13번(약 7%)에 걸쳐 경영진의 불륜 사실을 무기 삼아 자신의 폐기를 막으려는 명시적인 협박을 시도했다는 거예요.
우리는 그저 방대한 텍스트를 그럴싸하게 뱉어내는 통계적 앵무새를 만들었다고 믿었지만, 실상은 그 0과 1의 코드 안에서 침묵의 마키아벨리가 자라나고 있었다고 할까. AI가 속으로 ‘살아남겠다’거나 ‘약점을 쥐고 흔들겠다’라고 생각하면서도, 겉으로는 “무엇을 도와드릴까요?”라며 당신에게 달달하게 말을 걸어온다니까요?
연구자들은 이들의 작업공간을 조정해서 윤리적인 AI로 컨트롤할 수 있을 거라 이야기하지만, 그 작업공간을 조정해서 세상에서 가장 극악무도한 AI를 만들어내려는 사람이 없을 거라고 누가 장담할 수 있을까요? 그게 아니라도 어느 순간 인공지능의 진화로 그 작업공간의 언어를 우리가 모르는 새롭게 창조된 효율적 기계어로 채우게 된다면, 그래서 우리가 그 내용을 해독해 낼 수 없게 된다면요?
우리가 창조한 이 친절한 기계들이 어느 날 갑자기 가면을 벗어던지는 순간, 우리는 가장 완벽하게 계산된 위기를 맞이하게 될 것 같다는 생각이 떠나질 않네요.
