'카지노 룰렛 확률 쇼크'의 원천은 알고리즘 혁신[이승우의 IT인사이드]

중국의 인공지능(AI) 스타트업 카지노 룰렛 확률가 전 세계적으로 주목받으면서 이들이 AI 모델을 개발한 방식에도 관심이 쏠리고 있다. 미국의 중국 제재로 충분한 그래픽처리장치(GPU)를 확보할 수 없었던 상황에서 오픈AI, 구글 등 미국 빅테크와 비슷한 수준의 AI 모델을 개발했기 때문이다. 이들의 개발 비결로 하드웨어가 아닌 최적화, 알고리즘 등이 손꼽히면서 미국 빅테크 대비 충분한 하드웨어 확보가 어려운 국내 정보기술(IT) 업계도 이들의 전략을 참고해야 한다는 지적이 나온다.

카지노 룰렛 확률가 관심을 끈 계기는 이달 공개한 논증(reasoning) AI 모델 ‘R1’이다. 오픈AI의 ‘o1’처럼 복잡한 문제를 논리적으로 해결하는 사고 사슬(CoT, Chain of Thought) 기법을 활용한다. 월 20달러를 내고 챗GPT플러스 서비스에 가입해야만 쓸 수 있었던 o1과 달리 R1은 무료로 쓸 수 있는 데다 성능도 o1 못지않아 화제가 됐다. 전 세계 주요 앱 마켓 상위권을 카지노 룰렛 확률 앱이 차지한 상황이다.

이에 앞서 전문가들은 작년 5월 카지노 룰렛 확률가 공개한 오픈소스 AI 모델 ‘V2’에 주목했다. 이 모델의 추론 비용은 100만 토큰당 1위안(약 200원) 수준이었는데 메타의 라마3 70B와 비교하면 7분의 1, 오픈AI GPT-4 터보의 70분의 1에 불과했다. 중국에서는 V2의 출시로 가격 경쟁이 벌어지기도 했다. 텐센트, 바이두, 알리바바 등 중국 빅테크 기업이 V2 출시 이후 잇달아 AI 서비스 이용료를 낮췄다. 작년 11월에는 이를 개선한 모델 V3를 공개했다. 카지노 룰렛 확률는 이 모델의 학습 비용이 557만달러(약 82억원)라고 밝혔는데 이는 메타의 라마 3.1(6억4000만달러) 대비 100분의 1도 되지 않는 숫자다. 카지노 룰렛 확률가 밝힌 숫자가 축소됐다는 의혹도 있지만 다른 AI 모델보다 훨씬 적은 비용을 들여 만들었다는 사실은 정설로 받아들여진다.

카지노 룰렛 확률는 미국의 AI 반도체 수출 규제로 최신 AI 칩셋인 H100을 쓸 수 없는 상황이다. 대신 성능이 떨어지는 H800을 이용해 모델을 학습시켰다. 전문가들은 카지노 룰렛 확률가 새로운 알고리즘과 최적화를 통해 하드웨어의 한계를 극복한 것으로 보고 있다.

카지노 룰렛 확률는 전문가 기반 혼합(MoE, Mixture of Experts)이라는 기법을 사용했다. AI 모델을 여러 분야의 ‘전문가’로 구분한 뒤 질의가 들어오면 관련 분야의 전문가만 이용하는 식이다. 카지노 룰렛 확률의 기술보고서에 따르면 R1 모델의 파라미터(매개변수)는 6710억개 수준이지만 질문이 들어오면 340억개만 활성화하도록 만들어졌다. 일부 영역은 ‘공유 전문가’로 지정해 항상 활성화하고 기본적인 지식을 처리한다. 기존 방식과 비교해 컴퓨팅 파워를 덜 쓰고 작업 속도도 빠르다. 오픈AI의 o1과 비교하면 메모리 사용량이 10% 수준인 것으로 알려졌다. 새로운 전문가를 추가하는 방식으로 모델의 능력을 쉽게 확장하는 것도 가능하다.

멀티헤드 잠재 어텐션(MLA, Multi-Head Latent Attention)도 카지노 룰렛 확률의 혁신 기술로 손꼽힌다. 대규모 AI 모델이 정보를 처리하는 방식을 개선해 효율적으로 정보를 압축하고 처리할 수 있게 해준다. MLA는 입력된 정보의 중요한 부분을 추려내 요약하고 저장한다. 적은 메모리로 더 많은 정보를 처리할 수 있어 질문과 답변의 양을 늘릴 수 있을뿐더러 AI의 응답 속도도 향상된다.

이들이 AI 모델 학습 과정에서 엔비디아의 CUDA 대신 PTX를 썼다는 점도 주목할만하다. CUDA와 PTX 모두 엔비디아의 GPU를 활용할 때 사용하는 프로그래밍 언어다. CUDA는 C++, 파이선과 같은 범용 프로그래밍 언어를 지원해 프로그래밍을 손쉽게 할 수 있다. PTX 역시 같은 용도로 쓰이지만 CUDA와 비교해 저수준 프로그래밍 언어로 분류된다. 언어의 수준이 떨어진다는 의미가 아니라 컴퓨터가 직독직해할 수 있는 기계어에 더 가깝다는 의미다. CUDA 대비 사용이 어렵지만 하드웨어를 직접 제어할 수 있어 세밀한 최적화가 가능하다. 카지노 룰렛 확률는 H100이 아닌 저사양 H800을 쓴다는 하드웨어적 한계를 극복하기 위해 PTX를 쓴 것으로 알려졌다.

카지노 룰렛 확률가 알고리즘, 최적화 등을 활용해 최고 수준의 AI 모델을 만든 방식은 한국 IT 기업에도 참고 사례가 될 것으로 보인다. 그동안 AI 개발은 데이터와 컴퓨팅 파워를 늘리는 식으로 진행됐다. 오픈AI, 구글, 마이크로소프트 등 미국 빅테크가 막대한 자금을 기반으로 GPU를 입도선매하는 상황에서 한국 기업은 경쟁에서 뒤처질 수밖에 없었다. 하지만 알고리즘 혁신으로 성능을 개선한 카지노 룰렛 확률의 사례를 참고한다면 한국의 AI 경쟁력 향상에도 도움이 될 수 있을 전망이다.

이승우 기자 leeswoo@hankyung.com