주요 특징

• SALMONN-2는 음성 전용 인코더 대신 범용 자기지도 오디오 인코더 SPEAR를 기반으로 삼습니다. 128빈 필터뱅크 특징을 SPEAR가 인코딩하고, MLF 어댑터가 인코더의 특정 상위 계층만 쓰는 대신 전 계층 표현을 모아 LLM 커넥터로 전달합니다. 저장소는 이 방식이 말소리·일반 음향·음악·파라언어 능력을 한쪽에 치우치지 않게 유지하는 데 도움이 된다고 설명합니다.
• 공개된 벤치마크 표에서는 9B 규모 SALMONN-2가 MMAU-Pro 58.5, MMAR 64.5, MMSU 69.5를 기록했다고 밝힙니다. 같은 표에서 Kimi-Audio는 1,300만 시간 이상, MOSS-Audio는 100만 시간 이상 지도 오디오-텍스트 데이터를 쓴 것으로 표기된 반면 SALMONN-2는 18.2k시간을 사용했다고 적고 있습니다. 30B-A3B 구성 수치도 함께 제시합니다.
• 하나의 저장소를 브랜치로 나눠 모델 패밀리를 관리합니다. salmonn(ICLR 2024), salmonn2, ELLSA, video-salmonn-o1(ICML 2025), speech_quality_assessment(ICASSP 2025·ACL 2025), videosalmonn(ICML 2024) 브랜치가 각각의 코드와 문서를 담고 있어, 필요한 모델만 골라 체크아웃하는 방식으로 쓸 수 있습니다.
• 2026년 4월 20일 공개한 ELLSA는 시각·음성·텍스트·행동을 스트리밍 풀듀플렉스 구조 안에서 다루는 모델로, 듣고 보면서 동시에 생성하는 형태를 목표로 합니다. ICLR 2026에 채택됐고 모델과 추론 코드가 함께 공개되어 있습니다. 오디오 이해에서 실시간 상호작용 쪽으로 계열이 확장되는 흐름을 보여줍니다.
• 모델뿐 아니라 학습 자산도 함께 공개했습니다. SALMONN 7B·13B 체크포인트와 SALMONN-2-8B 모델이 Hugging Face에 올라와 있고 Spaces 데모도 제공합니다. 3단계 학습에 쓴 60만 건 규모의 음성·오디오 QA 데이터와 5만 건의 오디오 기반 스토리텔링 주석, 자연어 설명이 붙은 음성 품질 평가 데이터셋 QualiSpeech도 배포합니다.