Salesforce SOV-Transcribe-1 공개: 오픈 웨이트 ASR, AA-WER 2.28%

핵심 요약

Salesforce는 2026-11-12 오픈 웨이트 음성 인식(ASR) 모델 SOV-Transcribe-1을 Hugging Face에 공개했다. 라이선스는 Apache 2.0이다. Salesforce는 이 모델을 'our first open-weight speech-augmented language model'로 소개하며 녹음 파일 단위의 비스트리밍 ASR을 대상으로 한다. 이 글의 벤치마크 수치는 모두 Salesforce가 보고한 것이다. 기술 보고서는 'coming soon' 상태이고 독립 재현은 확인되지 않았다. Artificial Analysis 순위는 2026-11-12 기준 스냅샷이다.

구조와 규모

SOV-Transcribe-1은 Whisper large-v3 오디오 인코더, 오디오 프로젝터, Gemma 4 26B A4B MoE 디코더를 결합한 구조다. 모델 카드는 오디오 인코더를 포함해 총 26.6B(활성 4.6B) 파라미터라고 적는다. 런치 블로그는 활성 4B, 총 26B로 표기해 차이가 있다. 이 글은 모델 카드 수치를 따른다. 정밀도는 BF16이고 MoE 라우터는 FP32다. 학습 데이터 구성은 블로그에 설명되지 않았다.

Salesforce가 내세운 문제의식은 이렇다. 전사문이 대체로 맞아 보여도 'dropped underscore'나 'swapped digit' 같은 오류가 숨을 수 있고, 이런 오류는 다운스트림에서 중요하다는 것이다.

벤치마크 (Salesforce 보고)

블로그가 제시한 주요 비교는 다음과 같다.

Preference-ASR는 preference-aware WER 기준이며 SOV-Transcribe-1은 2위다. AA-WER는 CryptoBriefing이 2.3%로 반올림해 보도했고, 같은 매체는 Earnings22 4.1%, VoxPopuli 1.5%, AA-AgentTalk 1.8%도 전했다. 이 매체에 따르면 Artificial Analysis가 평가한 44개 모델 중 전체 7위, 오픈 웨이트 1위다.

• VoiceCodeBench(besimple AI): Task Success Rate 76.3%, CTEM 93.4%. 23개 시스템 중 2위다.
• AppTek Call-Center Dialogues(14개 영어 억양): 평균 WER 8.21%. 8개 억양에서 최저 WER다.
• Contextual Earnings-22 keyword F1: 기본 71.9, 클립별 키워드 제공 시 96.8, 전체 키워드 목록 제공 시 94.0이다. Salesforce는 오픈 웨이트 중 최고라고 밝혔다.

속도와 사용 요건

모델 카드는 RTX PRO 6000 Blackwell Server Edition GPU 1장, BF16과 DFlash draft 기준으로 초당 최대 1,039초 분량의 오디오를 처리한다고 적었다. 30초 녹음은 0.22초에 반환된다. 단일 요청 지연은 10초 이하 클립 0.09초, 1~5분 클립 1.26초다.

다만 업스트림 통합이 끝나지 않아 준비 과정이 필요하다. Transformers는 transformers>=5.19,<5.23, torch, librosa, accelerate가 필요하고 저장소의 modeling 코드와 trust_remote_code=True를 써야 한다. vLLM은 저장소의 vllm_plugin/으로 vLLM 0.32.0에 설치한다. 입력은 16kHz 모노, thinking 비활성, greedy decoding이다. 96GB GPU에서 draft 모델을 쓰려면 max_num_seqs=64가 필요하다.

한계

• 지원 언어는 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어 7개다. 한국어는 목록에 없다.
• 테스트된 최대 오디오 길이는 30분이다. vLLM 엔드포인트는 기본 요청당 600초이며 VLLM_MAX_AUDIO_DECODE_DURATION_S로 올릴 수 있다. 긴 녹음은 발화 경계에서 나눠야 할 수 있다.
• 투기적 디코딩의 이득은 10초 미만 클립에서 작다. Transformers에서는 한 번에 녹음 1건씩 실행한다.
• 드물게 문자나 구절을 토큰 한도까지 반복 생성한다. 후처리와 잘림 확인이 권장된다.

활용과 배경

Salesforce는 음성 에이전트, 받아쓰기 도구, 통화 전사를 사용자가 통제하는 인프라에서 실행하는 용도를 든다. verbatim/formatted 같은 출력 스타일 조정과 이름·도메인 용어 컨텍스트 바이어싱도 강조한다. CryptoBriefing은 이 모델이 Salesforce의 Sovereign AI 이니셔티브 아래 공개됐고 Missionforce(2025-09 시작)와 연결된다고 보도했다. 오픈 웨이트라 기관이 자체 환경에 배포할 수 있어 데이터 통제와 컴플라이언스 요구가 있는 조직에 중요하다는 해석은 해당 매체의 분석이다.

전망

향후를 단정하기는 어렵다. 판단 기준은 관찰할 수 있다. 첫째, 기술 보고서가 공개되고 학습 데이터가 설명되는지 본다. 둘째, 제3자가 같은 벤치마크를 재현하는지 확인한다. 셋째, Transformers와 vLLM의 네이티브 지원이 들어와 trust_remote_code와 플러그인 부담이 사라지는지 본다. 지원 언어 확대 계획은 확인된 내용이 없다.

결론

SOV-Transcribe-1은 Apache 2.0 가중치로 영어권·유럽 7개 언어 전사를 자체 인프라에서 돌리려는 팀이 검토할 만하다. 특히 컨텍스트 바이어싱이 필요한 통화·실적 발표 전사에 맞는다. 한국어 서비스나 스트리밍 용도에는 맞지 않는다. 수치는 Salesforce 보고이므로 자체 오디오로 검증해야 한다. 평점 4점은 공개된 정보 기준이며 직접 사용해 검증한 결과가 아니다.