지난 2~3년 동안 테크 판은 생성형 AI의 독주였습니다. 2025년 가트너의 전략기술 트렌드만 봐도 모두 LLM(거대 언어 모델) 혹은 그것과 관련이 있는 파생 타이틀뿐이니 말이죠. 2022년 말 GPT 시리즈의 발표를 시작으로 온갖 LLM들이 쏟아져 나왔고. 그들은 마치 올림픽에 출전한 듯 인공지능의 퀄리티나 파라미터 수 경쟁에 집중했습니다. 덕분에 AI 퀄리티는 눈 돌아가게 좋아질 수밖에 없었죠. 지금도 연구자들은 AGI(Artificial General Intelligence)를 목표로 GPU가 녹아내릴 때까지 최선을 다하고 있지만, 개인적으로 이 정도면 일반 대중들의 니드는 충분히 충족시킬 퀄리티라고 생각하거든요. 인류의 대부분은 IQ 100도 넘지 못하며, 단순한 반복업무를 쳇바퀴 돌듯 수행하고 있을 뿐이니까.
그렇다면 이제부터의 트렌드는 어떤 양상이 될까요?
사실 분위기는 이미 슬슬 바뀌고 있는 상황입니다. 이제 모델 퀄리티는 어느 정도 궤도에 올랐으니, 선수들은 다른 곳으로 눈을 돌리기 시작했다는 이야기에요. 바로 LLM 모델의 경량화, 효율화가 그것입니다. 인터넷 연결 없이도, 내 개인정보를 넘기지 않고도, 내 손 안에서 바로 돌아가는 온디바이스(On-device) AI,이것이 앞으로의 돈을 벌어다 주는 핵심 키워드가 되는 건 자연스러운 수순이죠.
이런 흐름에 불을 지핀 사건이 있었으니, 바로 마이크로소프트(MS)의 경량형 AI 모델 ‘비트넷 b1.58 (BitNet b1.58)’ 발표가 그것입니다. 이름부터 ‘비트’ 단위로 극한의 다이어트를 한 느낌을 풍기는데, 이 모델은 매개변수를 단 1.58비트로 표현하여 모델의 크기와 메모리 사용량을 획기적으로 줄여 에너지 효율을 극한으로 끌어올렸어요. 기존 모델들이 풀코스 스테이크 썰 때, 얘는 현미 채식하는 수준이랄까?
그런 특성으로 이 모델은 대형 GPU 없이 일반적인 CPU에서도 작동이 가능합니다. 물론, 퀄리티는 최상급 거대 모델에 비해 살짝 아쉬울 수 있지만, 앞에서 이야기한 것처럼 개인의 데이터를 내비게이션 하며 간단한 비서역할을 수행하는 서비스를 구성하는 데는 차고 넘치죠.
이 이야기가 의미하는 건 뭘까요? 바로 AI의 진정한 대중화가 시작되고 있다는 것. 값비싼 GPU 인프라 없이도, 심지어 인터넷 연결이 불안정한 환경에서도, 개인정보의 유출 걱정 없이 스마트폰을 통해 기존처럼 쉽게 AI서비스를 사용할 수 있게 된다는 거에요. 내 스마트폰이, 내 노트북이, 심지어 내 스마트워치가 진짜 ‘개인 비서’ 역할을 하는 시대가 열리는거죠. ChatGPT 사이트에서 몇 가지 질문을 던지며 신기해하고 마는 것이 아닌, 내 일상에 스며들어 나를 도와주는 초염가 비서를 누구나 한둘은 갖게 될 겁니다.
그렇다면 벌써 테크기업 내의 코드 30% 이상이 인공지능으로 개발되고 있고, IT인력의 대량 정리해고가 시작되고 있는 현 상황에서 개발자들은 무얼 준비해야 할까요?
특급 개발자들은 서비스 코어 쪽에서 경쟁하겠지만, 평범한 개발자들은 이미 잘 만들어진 경량 모델(파운데이션 모델)을 사용해서 특정 작업에 맞게 파인튜닝하고, 사용자 경험(UX)을 극대화하는 애플리케이션 개발을 수행할 수 있는 역량을 키울 필요가 있을거에요. 물론 그전에 온디바이스 환경에서의 모델 최적화, 제한된 리소스에서의 효율적인 AI 구동 기술에 관심을 가지고 AI 관련 서비스나 프레임워크 운용에 대한 학습이 선행될 필요가 있겠죠. 기존의 오픈 대형 서비스 프레임웍과 정보보호적 관점에서 효율적으로 상호작용할 수 있는 서비스 활용방법론에 대한 고민도 노력해 볼 가치가 있는 영역이라 생각합니다. 모바일, 웹, IoT 기기 등 다양한 디바이스에서 AI 모델을 구동하는 기술 스택에도 관심을 가져보는 건 어떨까요?
누가 뭐래도 가장 중요한 건 지속적으로 변하는 테크 상황에 지속적으로 관심을 가지고 필요한 것을 선별, 습득하는 것이라고 생각하는데… 물론 어렵죠. 그런데 언젠 뭐가 쉬웠나요?
