주요 특징

• 구조적으로는 Sesame가 공개한 CSM-1B(Conversational Speech Model)를 뼈대로 삼되 크기를 크게 줄인 것이 특징입니다. 250M 파라미터의 멀티모달 백본이 텍스트와 대화 맥락을 처리하고, 60M 파라미터의 별도 오디오 디코더가 Kyutai의 Mimi 코덱 토큰을 실제 파형으로 복원합니다. 전체 학습은 bfloat16 정밀도로 진행됐고, 두 모듈을 분리한 덕분에 양자화 시 500MB까지 압축할 수 있다고 저장소가 설명합니다.
• 가장 강조하는 지점은 '전체 문장을 문맥째로 스트리밍 생성'한다는 점입니다. 많은 경량 TTS가 정규식으로 문장을 쪼갠 뒤 조각마다 따로 합성해 억양이 끊기는 문제가 있는데, Marvis는 텍스트 시퀀스 전체를 한 번에 모델에 흘려 넣으면서 오디오 청크를 순차적으로 뽑아내는 방식을 택해 자연스러운 억양 흐름을 유지한다고 문서가 밝힙니다.
• 음성 클로닝은 참조 오디오 10초만으로 가능하다고 소개하며, 실시간 음성-음성(Speech-to-Speech) 변환을 염두에 둔 '엣지 배포' 최적화가 목표라고 명시합니다. 최소 요구 사양은 RAM 1GB로 낮게 잡혀 있고, 실시간성을 확보하려면 GPU 사용을 권장한다고 안내합니다.
• 플랫폼 지원 폭이 넓은 것도 특징입니다. 애플 실리콘에서는 mlx-audio를 통한 MLX 통합으로 구동되고, Hugging Face에는 `Marvis-AI/marvis-tts-250m-v0.1` 등으로 공개돼 있습니다. 저장소는 iOS·Android·Windows·macOS·Linux 전 플랫폼에서 동작한다고 밝혀, 모바일 앱이나 데스크톱 어시스턴트에 임베드하는 시나리오를 겨냥한 설계로 보입니다.
• 다만 현재 버전은 영어에 최적화돼 있고, 독일어·포르투갈어·프랑스어·중국어는 '지원 예정'으로 표기돼 있어 다국어 품질은 검증되지 않았습니다. 참조 음성의 음질이 낮거나 배경 소음이 섞이면 클로닝 품질이 떨어지고, 짧은 문장이나 새로운(학습 데이터에 없던) 단어에서는 모델이 없는 단어를 지어내는 할루시네이션이 발생할 수 있다고 저장소가 스스로 한계를 명시하고 있습니다.