'AI 경량화' 시대…삼성, 온디바이스 AI 고도화 나선다

삼성전자는 삼성리서치 AI센터 함명주 마스터와의 21일 인터뷰에서 클라우드 서버 없이 모바일 기기에서 인공지능을 직접 구동하는 '온디바이스 AI' 기술을 고도화했다고 밝혔다.

삼성리서치 AI센터 함명주 마스터는 인터뷰에서 "핵심은 클라우드급 성능을 기기 안에서 구현하는 것"이라고 말했다. 온디바이스 AI의 출발점은 거대언어모델(LLM)의 경량화다. 초고도 모델을 그대로 기기에 탑재하면 발열과 배터리 소모 문제가 발생하기 때문이다.

삼성리서치는 모델 압축, AI 실행 소프트웨어 최적화, 새로운 아키텍처 개발 등 세 가지 기술 영역의 연구를 진행하고 있다.

첫 번째는 모델 압축이다. 32비트 부동소수점 연산을 8비트나 4비트 정수로 바꾸는 '양자화' 기술을 적용한다. 함 마스터는 "고해상도 사진을 압축해도 화질이 손상되지 않는 것처럼, 정확도를 유지하면서 메모리와 연산량을 줄일 수 있다"고 설명했다.

모델 가중치의 중요도에 따라 압축 강도를 달리하는 알고리즘을 적용해 정확도 손실을 최소화한다. 삼성리서치는 이를 AI 폰과 가전 등 실제 제품 환경에 맞춰 직접 개발하고 상용화하고 있다.

함 마스터는 "기종마다 메모리 구조나 연산 성능이 모두 다르기 때문에, 일반적인 접근으로는 클라우드 기반 AI 수준의 성능을 내기 어렵다"며 "제품 중심 연구를 통해 사용자의 손 안에서 직접 체감되는 AI 경험 개선을 목표로 하고 있다"고 말했다.

두 번째는 'AI 실행기'라는 자체 개발 소프트웨어다. CPU, GPU, NPU 등 각 연산 장치에 작업을 최적으로 분배해 실행 효율을 높인다. 함 마스터는 "일종의 엔진 제어 장치로, 연산량과 메모리 접근을 자동으로 조정한다"고 말했다.

◆ 300억 파라미터 모델도 3GB 메모리 이하에서 구동

삼성리서치는 약 300억 파라미터 규모의 거대 모델을 3GB 이하 메모리에서 구동할 수 있는 수준을 확보했다. 모델 크기는 16GB 이상에서 3GB 이하로 축소된 것이다.

세 번째 연구 진행은 새로운 아키텍처 연구다. 현재 대부분의 거대언어모델은 '트랜스포머' 구조를 기반으로 한다. 문장이 길어질수록 연산량이 증가한다. 삼성리서치는 온디바이스 환경에 맞게 모델 구조를 처음부터 설계하고 하드웨어 효율을 올리는 방향으로 연구를 진행 중이라고 주장했다.

온디바이스 AI는 애플과 구글 등 주요 기술 업체들도 경쟁적으로 개발하고 있다. 애플은 약 30억 파라미터 규모의 온디바이스 모델과 서버 기반 혼합형 모델을 병행하고 있으며, 구글은 픽셀 스마트폰에 제미니 기반 기능을 탑재해 실시간 번역과 사진 편집 등을 온디바이스에서 처리하고 있다.

다만, 업계에서는 온디바이스 AI가 배터리 소모와 발열 문제를 완전히 해결하기까지는 시간이 필요할 것으로 보고있다.

함 마스터는 인터뷰 말미에 "속도, 정확도, 배터리 효율을 동시에 높여야 한다"며 "장기적으로는 사용자의 습관을 스스로 학습해 더 빠르고 효율적인 반응을 내놓는 수준까지 발전할 것"이라고 말했다.

삼성전자에 따르면 이들 기술을 스마트폰과 가전 등 다양한 제품에 적용해 데이터 프라이버시를 지키면서도 개인화된 AI 서비스를 제공할 계획이다. / 월요신문=김승화 기자