주요 특징

• 가장 눈에 띄는 설계는 '완전 연속(fully continuous)' 파이프라인입니다. 대부분의 최신 TTS가 오디오를 코드북 토큰으로 이산화한 뒤 언어모델처럼 다루는 것과 달리, dots.tts는 AudioVAE로 48kHz 모노 파형을 연속 잠재공간으로 인코딩·디코딩하고, 별도의 시맨틱 인코더가 생성된 VAE 패치를 다시 LLM이 소비할 수 있는 형태로 재인코딩합니다. 텍스트 처리 쪽은 Qwen2.5-1.5B-Base로 초기화한 LLM 백본이 음소 변환 없이 BPE 텍스트를 그대로 받아들이고, DiT 구조의 자기회귀 플로우매칭 헤드가 CAM++ 화자 x-벡터 조건화를 받아 최종 오디오를 생성하는 구조라고 저장소가 설명합니다.
• 동일한 2B 파라미터 백본을 공유하는 7종의 체크포인트를 제공하는 점도 특징입니다. 프리트레이닝 베이스라인인 dots.tts-base, 화자 유사도가 가장 높은 dots.tts-soar, 지연시간 최적화를 위해 MeanFlow로 증류한 dots.tts-mf(2-step/1-step 변형 포함), 이중 스트리밍 대화용 dots.tts-mf-2steps-stts, 그리고 지시문 기반으로 음성을 수정하는 dots.tts.edit까지 목적에 따라 골라 쓸 수 있습니다.
• 벤치마크 수치는 상당히 구체적으로 공개돼 있습니다. Seed-TTS-Eval 제로샷 클로닝에서 영어 WER 1.30%·화자유사도(SIM) 77.1%, 중국어 WER 0.94%·SIM 81.0%를 기록했고, MiniMax 다국어 평가(24개 언어)에서는 SOAR 변형이 평균 SIM 83.9로 가장 높았으며 24개 언어 중 19개에서 1위, 2개에서 공동 1위를 차지했다고 밝힙니다. 다만 CV3-Eval의 어려운 하위셋에서는 영어 WER이 4.37~4.49%로 올라가고, 아랍어·힌디어·터키어·베트남어처럼 표기 체계가 다른 저자원 언어에서는 BPE 백본의 한계로 오차율이 상대적으로 높아진다고 스스로 인정합니다.
• 스트리밍 성능도 상세히 공개했습니다. H800 GPU에서 bf16 정밀도로 `--optimize` 플래그를 켠 상태 기준, SOAR 음성 클로닝은 RTF(실시간계수) 0.20~0.26에 첫 청크 지연 225ms, 피크 메모리 7.86GB이고, MF 변형은 RTF 0.15~0.21에 첫 청크 204ms, 5.74GB로 더 가볍습니다. 텍스트만 넣는 모드는 첫 청크 지연이 69ms까지 내려갑니다. SGLang Omni로 서빙할 경우 16개 동시 요청 기준 초당 4.76건 처리, 초당 19.86오디오초 처리량을 내면서도 WER 1.35% 수준을 유지한다고 문서가 밝힙니다.
• 음성 클로닝은 참조 오디오와 정확한 전사문을 함께 주는 '컨티뉴에이션 클로닝'(유사도 가장 높음)과, 전사문 없이 참조 오디오만으로 음색만 추출하는 'x-벡터 전용 클로닝' 두 방식을 지원합니다. audio.cpp(C++/ggml 기반), dots-tts-mlx(애플 실리콘), ComfyUI 노드 등 커뮤니티 통합도 이미 여럿 나와 있습니다. 다만 저장소는 고품질 제로샷 클로닝이 신원 사칭·사기에 악용될 위험을 명시적으로 경고하고, 노래나 음성+효과음 통합 생성은 아직 다루지 않으며, `--optimize` 컴파일 최적화는 H100 기준 약 3분의 워밍업 시간이 필요하다는 한계도 함께 밝히고 있습니다.