Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
바이트댄스 Seed팀이 공개한 범용 멀티모달 이해·추론용 비전-언어 파운데이션 모델이다. 5억3200만 파라미터의 비교적 경량화된 비전 인코더와 200억 활성 파라미터 MoE(Mixture-of-Experts) LLM을 결합한 효율적인 구조로, 공개 당시 공개 VLM 벤치마크 60종 중 38종에서 최고 성능(SOTA)을 달성했다. 리버스(Rebus) 퍼즐 같은 복합 시각 추론, OCR, 다이어그램 이해, 비주얼 그라운딩, 3D 공간 이해, 영상 이해까지 폭넓은 과제를 하나의 모델로 처리하며, GUI 제어나 게임플레이 같은 에이전트형 상호작용 과제에서도 강점을 보인다. 이 저장소는 모델 가중치 자체보다는 볼케이노 엔진(Volcano Engine) API를 활용한 실전 예제와 쿡북(Gradio 데모, 2D/3D 그라운딩, 영상 이해, GUI 에이전트 등)을 제공하는 데 초점을 맞추고 있으며, Apache 2.0 라이선스로 배포된다.
OpenBMB
휴대폰에서도 돌아가는 초경량 이미지·비디오 이해 멀티모달 LLM
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델
baidu
Baidu가 공개한 DeepSeek-OCR 계승 문서 파싱 VLM

OpenBMB
스마트폰에서 실행 가능한 멀티모달 AI 모델