Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
DK-VLM은 하얼빈공업대학교·Huawei 등 연구진이 공개한 공간 추론용 비전-언어 모델로, 여러 시점에 걸친 3D 공간 관계 파악과 관찰자 이동에 따른 판단 갱신 문제를 다룬다. Dual-Kernel Attention은 기존 어텐션과 위치 인코딩을 유지하는 의미 커널과, 추정된 3D 포인트·카메라 포즈로 어텐션을 조절하는 기하 커널을 학습된 게이트로 결합한다. 단계별 회전·방향 목표를 담은 RC 감독 데이터 160만 건도 공개했다. 논문 기준 DK-VLM-8B는 VSI-Bench 74.33, ReVSI-32 58.28을 기록했으며 Qwen2.5-VL-7B·Qwen3-VL-8B 기반 체크포인트를 제공한다.
harry0703
주제·키워드 하나로 스크립트·소재·음성·자막·배경음악을 자동 생성해 숏폼 영상을 합성하는 AI 영상 제작 도구
opendatalab
PDF·Office 문서를 LLM-Ready 마크다운으로 변환하는 1.2B 멀티모달 VLM
OpenBMB
휴대폰에서도 돌아가는 초경량 이미지·비디오 이해 멀티모달 LLM
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델