Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Janus는 DeepSeek에서 개발한 통합 멀티모달 이해 및 생성 모델 시리즈입니다. 기존 접근법의 한계를 극복하기 위해 시각 인코딩을 별도 경로로 분리하면서도 단일 통합 Transformer 아키텍처로 처리하는 독창적인 설계를 채택했습니다. 최신 버전인 Janus-Pro는 최적화된 학습 전략, 확장된 학습 데이터, 대규모 모델 스케일링을 통해 멀티모달 이해와 시각 생성 능력을 크게 향상시켰습니다. GenEval과 DPG Bench에서 84% 이상의 정확도로 DALL-E 3, Stable Diffusion 3 등 유명 모델을 능가하며, 이미지 이해와 생성을 하나의 프레임워크에서 처리하는 통합 멀티모달 AI의 새로운 기준을 제시합니다.
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델

OpenBMB
스마트폰에서 실행 가능한 멀티모달 AI 모델
microsoft
작업, 언어, 모달리티 전반의 통일된 사전학습 모델
jina-ai
클라우드 네이티브 멀티모달 AI 애플리케이션 구축 프레임워크