Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Qwen 팀이 Qwen Omni Realtime API를 중심으로 공개한 실시간 멀티모달 하네스다. 마이크 음성과 화면·카메라 영상을 함께 입력받아 대화하고, 복잡한 작업은 Qwen Code, Qoder CLI, Codex, Claude Code, Gemini CLI 같은 백그라운드 코딩 에이전트에 ACP 등으로 위임해 진행 상황과 승인 요청을 UI에서 처리한다. 오디오·화면·시간 조건을 걸어 알림을 받는 능동형 모니터링과 대화 간 장기 메모리도 지원한다. npm으로 설치하며 로컬 모델 가중치나 GPU는 필요 없지만 Alibaba Cloud Model Studio(DashScope) API 키와 인터넷 연결이 필요하다. 현재 데스크톱 앱은 macOS 12 이상만 지원한다.
OpenBMB
휴대폰에서도 돌아가는 초경량 이미지·비디오 이해 멀티모달 LLM
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델
baidu
Baidu가 공개한 DeepSeek-OCR 계승 문서 파싱 VLM

OpenBMB
스마트폰에서 실행 가능한 멀티모달 AI 모델