크래프톤이 음성 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 글로벌 AI 플랫폼 허깅페이스에 공개했다고 29일 밝혔다.

A.X K2 Raon-Speech는 과학기술정보통신부의 '독자 AI 파운데이션 모델' 프로젝트 2차 연구 성과다. 크래프톤은 SK텔레콤 정예팀과 함께 차세대 멀티모달 AI 연구를 수행하고 있다.

21B 파라미터 규모의 이 모델은 30B 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 음성 인식, 음성 합성, 음성 이해, 음성·텍스트 질의응답, 도구 호출 등 6개 분야에서 총 46개 벤치마크를 활용해 성능을 평가했다.

A.X K2 Raon-Speech는 SK텔레콤의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 음성 코덱을 결합해 개발됐다. 사람의 음성을 AI가 이해할 수 있는 정보로 변환하고, AI가 생성한 결과를 자연스러운 음성으로 복원하는 기술을 적용해 텍스트 성능을 유지하면서 음성 입출력을 구현했다.

크래프톤은 기존 음성 AI 시스템이 음성을 텍스트로 변환하는 과정에서 감정과 억양 정보가 손실되는 문제를 개선해, 사용자 음성에 담긴 정보를 활용한 자연스러운 음성 응답을 구현했다고 설명했다.

이강욱 크래프톤 CAIO는 "A.X K2 Raon-Speech는 AI 파운데이션 기술을 지속적으로 연구하고 고도화한 결과물"이라며 "앞으로도 게임에 필요한 AI 기술을 발전시켜 새로운 게임 경험을 제공할 것"이라고 말했다.

크래프톤은 이번 연구 성과를 AI 캐릭터 CPC(Co-Playable Character)에 적용해 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 등 AI와 이용자의 상호작용을 한층 고도화할 계획이다.