카카오가 자체 개발 옴니 인공지능(AI) 모델 ‘카나나-오’의 음성 생성 기술을 한 단계 발전시켰다고 밝혔다. 4일 공개한 카카오 테크블로그에 따르면 이용자가 원하는 말투와 감정, 억양까지 자연어 지시만으로 제어할 수 있도록 음성 생성 기술을 고도화했으며, 자체 개발 음성 토크나이저를 통해 생성 속도와 효율도 함께 높였다.

개선된 카나나-오의 핵심은 음성 표현 자체를 제어한다는 점이다. 그동안 음성 AI가 텍스트를 자연스럽게 읽는 데 집중했다면, 카나나-오는 이용자의 지시대로 말하는 방식을 바꾼다. 이용자가 “아주 빠르게 읽어줘”, “낮은 목소리로 읽어줘”, “슬픈 목소리로 읽어줘”, “경상도 사투리로 읽어줘”처럼 자연어로 발화 방식을 말하면 AI가 속도와 음량, 음높이는 물론 감정과 억양, 강도까지 세밀하게 반영해 음성을 생성한다.

이 밖에 “스포츠 중계하듯”, “아나운서처럼”, “동화책을 읽어주듯”과 같은 역할 기반 지시도 수행하며, “톤을 낮춰서 빠르게 슬픈 목소리로 읽어줘”처럼 여러 조건을 동시에 담은 복합 지시도 소화한다. 한국어 데이터를 중심으로 학습했음에도 영어 음성 생성에서 동일한 발화 지시를 수행할 수 있다.

이는 카카오가 새로 적용한 음성 토크나이저 ‘LM-SPT(LM-aligned SPeech Tokenizer)’의 구조와 관련이 있다. LM-SPT는 음성을 발화 내용을 담는 ‘의미 토큰’과 음색·억양·속도 같은 음향 특성을 담는 ‘음향 토큰’으로 나눠 표현한다. 두 정보를 구조적으로 분리한 덕분에 특정 언어 표현에 종속되지 않고, 한국어로 학습한 발화 제어 능력이 영어에서도 발현될 수 있다는 것이 회사의 설명이다.

성능도 입증됐다. 카나나-오는 발화 지시 이행 능력을 평가하는 한국어 벤치마크 ‘InstructTTSEval’에서 94.50점을 기록했다. 오픈AI GPT-4o-미니-tts(91.10점)를 넘어섰다. 구글 제미나이-2.5-플래시-프리뷰-tts(95.38점)와 견줄 만한 기록이다. 카카오는 이 점수를 끌어올리기 위해, 발화 지시를 얼마나 잘 따랐는지에 더해 발화 오류율과 화자 유사도, 음질을 함께 고려하는 다목적 온라인 강화학습을 적용했다. 빠르게 말하라는 지시만 최적화하면 음절을 빠뜨리는 식의 품질 저하가 생길 수 있어, 여러 품질 기준을 동시에 맞추도록 학습했다.

속도와 효율도 개선됐다. LM-SPT는 AI가 음성을 더 적은 수의 토큰으로 압축해 표현하는 기술로, 기존의 절반 수준인 초당 12.5개 프레임으로 음성을 표현한다. AI가 처리해야 하는 데이터 양이 줄어 더 빠르고 효율적으로 음성을 생성할 수 있다. 또 중간 변환 과정 없이 토큰에서 곧바로 음성 파형을 복원하는 단일 디코더를 사용해 디코딩 과정을 간결하게 만들었다.

카카오는 향후 카나나-오 음성 기술을 꾸준히 발전시킬 계획이다. 음성 이해와 생성 능력을 하나의 통합 구조로 처리하는 연구를 통해 음성 처리 기술을 고도화하고, 실시간 음성 비서와 통역처럼 지연 시간이 중요한 서비스에서 끊김 없는 음성 경험을 제공하는 데 집중한다. 웃음과 한숨, 감탄 같은 비언어적 표현을 자연스럽게 생성하는 기술 등 더 세밀한 음성 제어를 위한 개발도 이어갈 방침이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 “이번 카나나-오 음성 기술 고도화는 사람처럼 자연스러운 음성 생성은 물론, 이용자가 원하는 말투와 감정, 억양까지 자연어 지시에 따라 표현할 수 있는 능력을 갖추는 데 초점을 뒀다”며 “향후 카나나-오 모델을 다양한 서비스에 적용해 더욱 자연스럽고 편리한 AI 음성 경험을 제공할 것”이라고 말했다.