Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
dsh-video-storyboard는 DeepSeek Harness(DSH)용 플러그인으로, 멀티모달 모델이 영상을 실제로 '본' 것처럼 답할 수 있도록 영상을 9~16칸 스토리보드 이미지 한 장과 타임코드가 붙은 텍스트 목록으로 바꿔준다. 프레임을 전부 넣으면 토큰이 폭증하고 자막만 넣으면 화면 정보가 사라지는 문제를 피하기 위해, 화면 변화량 기반으로 컷을 감지하고 정보 밀도에 따라 칸을 배분하며 각 칸에 구간 시간·컷 수·대사(로컬 ASR)를 붙인다. README 기준 이미지 1장은 384토큰, 1회 호출은 약 1,900토큰이며 90초 영상 처리는 약 10초가 걸린다.
opendatalab
PDF·Office 문서를 LLM-Ready 마크다운으로 변환하는 1.2B 멀티모달 VLM
OpenBMB
휴대폰에서도 돌아가는 초경량 이미지·비디오 이해 멀티모달 LLM
haotian-liu
GPT-4V 수준의 시각적 지시 조정 멀티모달 AI 모델
baidu
Baidu가 공개한 DeepSeek-OCR 계승 문서 파싱 VLM