주요 특징

• 듣기와 말하기가 동시에 진행되는 전이중(full-duplex) 구조를 Moshi 아키텍처에서 그대로 이어받았습니다. 사용자가 말을 끊거나 맞장구를 쳐도 턴이 무너지지 않고 대화가 이어집니다. 실행은 moshi.server 모듈을 임시 SSL 인증서와 함께 띄운 뒤 브라우저에서 8998 포트의 웹 UI로 접속하는 방식이고, 오디오 경로에 Opus 코덱 개발 라이브러리(libopus-dev)가 필요합니다.
• 페르소나는 두 축으로 제어합니다. 하나는 이름·소속·업무 정보를 담은 텍스트 롤 프롬프트이고, 다른 하나는 목소리를 고정하는 오디오 컨디셔닝 임베딩입니다. 저장소는 대화체에 가까운 자연스러운 계열(NATF0~3, NATM0~3) 8종과 음색 변화폭이 큰 계열(VARF0~4, VARM0~4) 10종, 총 18종의 사전 임베딩을 함께 제공합니다.
• 학습 데이터는 고정된 어시스턴트 역할과 다양한 고객 응대 역할로 구성한 합성 대화, 그리고 LDC Fisher English Corpus의 실제 대화에 LLM이 프롬프트 라벨을 붙인 자료를 합친 것입니다. 백본인 Helium LLM의 일반화 능력 덕분에 학습 분포 밖의 프롬프트에도 반응한다고 설명하며, 화성 탐사선 원자로 수습 시나리오 같은 예시를 웹 UI에 기본 탑재했습니다.
• 실시간 대화 외에 오프라인 평가 경로를 따로 둡니다. moshi.offline 스크립트에 입력 wav를 넣으면 같은 길이의 출력 wav와 발화 텍스트 JSON이 나오며, --voice-prompt로 음성, --text-prompt로 역할, --seed로 재현성을 지정합니다. FullDuplexBench의 User Interruption, Pause Handling, Backchannel, Smooth Turn Taking 각 항목에 어떤 프롬프트를 써야 하는지도 문서에 명시돼 있습니다.
• 코드는 MIT지만 가중치는 라이선스가 다릅니다. 7B 모델은 NVIDIA Open Model License로 Hugging Face의 nvidia/personaplex-7b-v1에 게이트 공개돼 있어, 라이선스에 동의하고 HF_TOKEN을 설정해야 내려받을 수 있습니다. GPU 메모리가 모자라면 accelerate를 설치하고 --cpu-offload로 레이어를 CPU에 내릴 수 있으며, Blackwell 계열 GPU는 cu130 빌드 PyTorch 휠을 따로 설치하도록 안내합니다.