Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
영상의 시각적 움직임과 텍스트 지시를 함께 조건으로 받아 장면에 동기화된 스테레오 사운드를 생성하는 비디오-투-오디오 모델이다. 인과적(causal) 자기회귀 확산 구조로 오디오를 100ms 단위 청크로 생성하며, 청크마다 3개의 비디오 프레임만 있으면 바로 생성·디코딩할 수 있어 영상을 순차적으로 읽어 들이는 스트리밍 생성을 지원한다. 텍스트 지시는 시퀀스 도중에 바꿀 수 있고, 프롬프트 없이 영상만으로 조건을 줄 수도 있다. 출력은 48kHz 스테레오 WAV이며 FFplay로 바로 재생하는 PCM 스트리밍 출력도 제공한다. arXiv 논문, 데모 페이지, Hugging Face 가중치가 함께 공개됐고 라이선스는 비상업 용도의 CC BY-NC 4.0이다.
openai
99개+ 언어 지원 범용 음성 인식 모델 - GitHub 96K 스타
coqui-ai
1100개 이상 언어를 지원하는 오픈소스 음성 합성 딥러닝 도구 모음
suno-ai
Suno AI의 텍스트-오디오 생성 모델 - 다국어 음성, 음악, 효과음 생성
RVC-Project
10분 이하 음성으로 학습하는 retrieval 기반 음성 변환 WebUI