주요 특징

• 문장 단위 낭독이 아니라 대화 생성을 전제로 설계했습니다. 백본 트랜스포머가 텍스트 임베딩과 오디오 프레임 임베딩을 섞어서 받기 때문에 앞선 발화를 컨텍스트로 넣으면 그 흐름에 맞춰 다음 발화를 만듭니다. 기본 예제인 run_misotts.py도 단발 문장이 아니라 대화 하나를 통째로 합성해 full_conversation.wav로 저장합니다.
• 구조는 크기가 다른 트랜스포머 두 개를 겹친 형태입니다. 텍스트/오디오 프레임을 소화하는 llama-8B 백본과, 각 프레임 안에서 상위 오디오 코드북을 순차 예측하는 llama-300M 디코더로 역할을 나눴습니다. 텍스트 어휘 128,256개, 오디오 어휘 2,051개, 코드북 32개, 최대 시퀀스 길이 2,048 토큰이라는 사양이 README에 정리되어 있습니다.
• 음성 복제는 별도 학습 없이 프롬프트 오디오로 처리합니다. Segment 객체에 화자 번호와 참조 오디오, 그 오디오의 전사 텍스트를 담아 context로 넘기면 해당 목소리를 따라 다음 문장을 합성합니다. 참조 없이 그냥 generate만 호출하는 경로도 있어 복제가 필요 없을 때는 컨텍스트를 비워 두면 됩니다.
• 실행에 필요한 자원이 큰 편이라는 점을 저장소가 명시해 두었습니다. bfloat16 기준 가중치가 약 16GB로 24GB VRAM(RTX 3090/4090, A5000급)을 권장하고 float32는 40GB 이상이 필요합니다. 첫 실행 시 모델 체크포인트와 Mimi 코덱, 워터마커, 토크나이저까지 30~40GB를 내려받습니다. CPU 추론도 되지만 느리며, 알려진 110ms 지연은 H100급 호스팅 API 수치이지 로컬 경로의 값이 아니라고 따로 못박고 있습니다.
• 생성물 추적 장치를 기본값으로 넣었습니다. 첫 실행 때 sony/silentcipher 워터마킹 모델을 함께 받아 출력 오디오에 워터마크를 심으며, 다른 애플리케이션에 붙일 때는 자체 비공개 키를 쓰라고 안내합니다. 라이선스는 MIT를 손본 형태로 사칭·기만 오디오·사기 목적 사용을 금지하는 조항이 붙어 있어, 도입 전에 원문 확인이 필요합니다.