주요 특징

• 구조는 그래핌(문자)과 BPE 두 갈래로 동시에 출력하는 이중 헤드 CTC를 얹은 16층 Conformer 음성 인코더, 이를 10Hz 임베딩 레이트로 압축하는 윈도우 쿼리 트랜스포머 프로젝터, 그리고 12만 8000 토큰 컨텍스트를 갖춘 granite-4.0-1b-base 언어모델을 LoRA 어댑터로 연결한 3단 구성입니다.
• 영어·프랑스어·독일어·스페인어·포르투갈어·일본어 음성 인식과 이들 언어 간 양방향 음성 번역을 지원하며, 영어를 축으로 한 번역은 이탈리아어·중국어까지 확장됩니다. 모든 지원 언어에서 문장부호 복원과 대소문자 정규화(truecasing)를 함께 처리합니다.
• 전문 용어나 고유명사를 놓치지 않도록 키워드 리스트를 프롬프트로 넣어 인식을 유도하는 키워드 바이어싱 기능을 제공합니다. 공개 코퍼스와 합성 데이터를 합쳐 총 17만 4000시간 규모의 음성으로 학습했습니다.
• 저장소가 공개한 측정값 기준으로 Open ASR 리더보드 평균 WER 5.33%, 실시간 처리 배율(RTFx) 231.29를 기록했습니다. 구두점 오류율은 언어별로 독일어 3.66%부터 LibriSpeech Clean 25.70%까지 편차가 있고, 대소문자 인식 F1 점수는 평균 89% 이상, 독일어 명사 대문자화는 99.5%에 달합니다.
• 같은 파라미터 규모를 유지하면서 화자 구분과 단어 단위 타임스탬프를 추가한 granite-speech-4.1-2b-plus, 토큰을 순차 생성하지 않고 한 번에 교정해 처리량을 높인 비자기회귀(non-autoregressive) 버전 granite-speech-4.1-2b-nar 두 변형 모델을 함께 공개했습니다.