Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Sa2VA는 SAM2의 픽셀 단위 세그멘테이션 능력과 LLaVA 계열 비전-언어 모델을 결합해, 이미지와 비디오를 픽셀 수준까지 정밀하게 이해하는 멀티모달 대규모 언어 모델(MLLM)입니다. 단순한 이미지 설명을 넘어 참조 세그멘테이션, 그라운디드 대화, 비디오 객체 추적처럼 언어 지시에 따라 특정 대상을 픽셀 마스크로 지목하는 밀집 그라운딩 태스크를 하나의 모델로 처리합니다. Sa2VA 본체와 함께 SAMTok, VRT, SaSaSa2VA 등 관련 연구 코드가 공개되어 있으며, LSVOS 비디오 객체 세그멘테이션 챌린지 1위 솔루션의 기반이 되었습니다.
OpenBMB
휴대폰에서도 돌아가는 초경량 이미지·비디오 이해 멀티모달 LLM
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델

OpenBMB
스마트폰에서 실행 가능한 멀티모달 AI 모델
microsoft
작업, 언어, 모달리티 전반의 통일된 사전학습 모델