주요 특징

• 설계의 핵심은 VLA 연구를 네 개의 독립 축으로 분해한 것입니다. 공유 학습 인프라 위에 교체 가능한 파운데이션 백본(VLM 또는 비디오 생성 월드 모델), 서로 바꿔 끼울 수 있는 액션 헤드, 벤치마크에 종속되지 않는 배포 훅이 각각 얹히고, 축끼리 결합도가 낮아 새 프레임워크 변형이 대개 백본이나 액션 헤드 교체로 끝납니다. 데이터로더는 토크나이저나 이미지 인코딩 같은 모델 고유 전처리를 하지 않고 `image`, `lang`, `action`, `state`만 담은 모델 비종속 dict를 반환하며, `framework.forward()`와 `framework.predict_action()`이 이 원시 입력을 바로 받아 학습과 추론의 경계를 명시적으로 유지합니다. 모델 프레임워크 파일 하나가 외부에 노출되는 유일한 API 면이고, 논문 그림과 구조적으로 대응하도록 쓰는 것을 권장합니다.
• 액션 헤드만 다른 네 가지 프레임워크 변종이 이미 구현돼 같은 데이터 인터페이스와 인프라를 공유합니다. StarVLA-FAST는 빠른 토크나이저로 이산 행동 토큰을 자기회귀 생성하는 π₀-fast 계열, StarVLA-OFT는 MLP 헤드로 연속 행동을 병렬 디코딩하는 OpenVLA-OFT/EO 계열, StarVLA-PI는 확산 기반 연속 행동을 위한 flow matching 액션 전문가를 쓰는 π₀ 계열, StarVLA-GR00T는 VLM을 System 2로 flow matching을 System 1으로 쓰는 듀얼 시스템 구조입니다. 학습 레시피는 패러다임에 무관하게 적용되며 지도 파인튜닝(SFT), 멀티모달 다목적 공동 학습, 크로스 임보디먼트 공동 학습이 구현돼 있고 강화학습 적응은 아직 체크리스트상 미완으로 남아 있습니다. 다만 RLinf 팀과의 협업으로 RL 사후학습 튜토리얼이 별도로 제공됩니다.
• 백본과 하드웨어 선택 폭이 넓은 편입니다. Qwen2.5-VL과 Qwen3-VL 4B는 물론 Qwen3.5를 0.8B·2B·4B·9B 네 가지 크기로 VLA 백본에 붙일 수 있고, 자원이 부족한 환경에서는 Florence-2를 더 작은 VLM으로 써서 A100 한 장으로도 돌릴 수 있습니다. WM4A(World Model for Action)가 통합돼 Cosmos-Predict2, Wan2.2 같은 사전학습된 비디오 생성 DiT를 행동 예측 백본으로 쓰는 경로도 열려 있고, 해당 체크포인트는 HuggingFace 컬렉션으로 공개돼 있습니다. 학습은 DeepSpeed ZeRO-3와 accelerate를 쓰며 Qwen 계열 백본에 한해 Ascend NPU 학습도 지원합니다. 커뮤니티 쪽에서는 NeuroVLA, PhysBrain, TwinBrainVLA, LangForce, LaWAM 등이 이 코드베이스 위에서 만들어졌습니다.
• 벤치마크 통합 범위가 이 프로젝트의 실질적인 가치입니다. SimplerEnv, LIBERO, LIBERO-plus, RoboCasa-GR1, RoboCasa365, RoboTwin 2.0, DOMINO, BEHAVIOR, Calvin, RoboDojo까지 파이프라인이 들어와 있고 SO101과 RLBench는 아직 미지원입니다. RoboCasa 태블탑의 경우 사전학습 없이 학습해 SOTA 성능에 도달했다고 보고하며, LIBERO·SimplerEnv·RoboCasa GR1·Calvin 결과는 저장소 이미지와 상시 갱신되는 Overleaf 문서로 공개됩니다. 시뮬레이션에만 머물지 않고 Franka 로봇 예제와 RoboChallenge table30v2 같은 실로봇 개발 케이스가 함께 있으며, 자기 로봇이나 데이터셋을 붙이는 단계별 가이드(`docs/integrate_your_dataset.md`)도 제공됩니다. AllenAI의 vla-evaluation-harness와 연계한 대규모 평가 가속 경로도 안내합니다.
• 개발 편의 장치와 함께 알아 둘 제약도 있습니다. 주요 프레임워크 파일은 단독 실행이 가능해 모델과 데이터로더를 각각 스모크 테스트할 수 있고, 동결은 `--trainer.freeze_modules`에 정규식이나 이름 목록을 넘겨 제어하며 학습률은 모듈 이름별 dict로 다르게 줄 수 있습니다. 체크포인트 재개도 설정으로 처리됩니다. 반면 `starVLA_dev` 브랜치는 새 기능이 먼저 병합되는 곳이라 일시적으로 불안정할 수 있어 검증된 결과가 필요하면 안정 브랜치를 써야 하고, 라이선스는 MIT 본문에 상류 커밋 두 개를 별도로 보존하라는 등의 기여 표시 조항이 덧붙어 GitHub은 이를 표준 MIT가 아닌 'Other'로 분류합니다. 코드베이스 자체는 InternVLA-M1을 포크해 출발했습니다.