Penguin-VL은 텍스트 전용 LLM으로 초기화된 비전 인코더로 효율성을 극대화하는 컴팩트 비전-언어 모델 계열입니다. 데이터 확장이나 단순 모델 크기 증가 대신 비전 인코더를 재설계하여 효율성을 개선합니다. Qwen3-0.6B 같은 경량 LLM을 기반으로 양방향 어텐션과 2D-RoPE를 적용하며, 혼합 감독 사전학습과 동적 토큰 할당으로 이미지와 영상 모두에 최적화됩니다.