Robbyant LingBot-VA 2.0 오픈소스 공개: 로봇 제어 추론 6.5배 가속

핵심 요약

Ant Group 산하 embodied AI 전담 유닛 Robbyant가 로봇 조작(manipulation)을 위한 파운데이션 모델 "LingBot-VA 2.0"을 오픈소스로 공개했다(MarkTechPost, 2026년 7월 11일 보도). 이 모델은 범용 생성모델을 미세조정한 기존 방식과 달리, 처음부터(from scratch) 인과관계 기반으로 학습된 "임베디드-네이티브(embodied-native)" 비디오-액션 월드모델이다. GitHub와 공식 프로젝트 페이지를 통해 논문과 코드가 함께 공개됐다.

주요 사양

(출처: MarkTechPost, RoboticsTomorrow, 공식 프로젝트 페이지)

주요 기능

1. 의미론적 시각-행동 토크나이저

세계 상태(world state)와 잠재 행동(latent action)을 정렬된 하나의 공간에 배치하는 토크나이저를 새로 도입했다. 1.0 버전이 Wan2.2 VAE를 사용한 것과 달리, 시각 정보와 행동 정보를 함께 학습하도록 설계됐다.

2. 처음부터 학습된 인과적 프리트레이닝

1.0이 미세조정된 쌍방향(bidirectional) 생성기를 기반으로 했다면, 2.0은 자기회귀(autoregressive) 구조의 인과 DiT를 처음부터 학습했다. 이는 실시간 로봇 제어에 필요한 순차적 예측 특성과 더 부합하는 구조다.

3. MoE(Mixture of Experts) 아키텍처

비디오 전문가 계층은 128개의 라우팅된 SwiGLU 전문가와 top-8 라우팅, 1개의 공유 전문가로 구성된 희소 MoE 구조다. 행동 전문가는 은닉 차원 768의 밀집 FFN을 유지해, 전체 15.3B 파라미터 중 실제 추론 시 활성화되는 파라미터는 약 2.5B에 그친다.

4. Foresight Reasoning과 관찰 재접지

예측과 실행을 비동기로 분리해 지연시간을 최소화하는 "Foresight Reasoning"과, 실행 도중 실제 관찰값으로 예측을 재조정하는 "관찰 재접지(observation re-grounding)"를 도입했다. 1.0의 비동기 실행 + KV캐시 방식에서 한 단계 더 발전한 형태다.

5. Multi-chunk Prediction(MCP)

다음 3개 청크를 한 번에 예측하는 MCP 기법을 적용해 학습 속도를 2.3배 향상시켰다(공식 발표).

벤치마크 성능 (RoboTwin 2.0, 50개 태스크)

추론 속도 최적화 (청크당 처리 시간 · 비동기 제어 주파수)

최종적으로 청크당 처리 시간은 927ms에서 142ms로 약 6.5배 단축됐고, 비동기 제어 주파수는 35Hz에서 225Hz로 향상됐다(공식 발표). 일부 매체에서는 단일 GPU 기준 150Hz대의 실시간 추론과, 20개 데모만으로 새 태스크에 인컨텍스트 방식으로 일반화(파라미터 업데이트 없이)할 수 있다는 설명도 확인됐으나, 정확한 벤치마크 수치는 위 225Hz를 기준으로 삼는 것이 타당하다.

사용성 분석

RoboTwin 2.0의 50개 태스크에서 클린 데모와 랜덤화 데모 간 성공률 차이가 0.4%포인트에 불과하다는 점은, 환경 변화에 대한 강건성이 상당 수준임을 보여준다. 또한 단계별 최적화를 통해 제어 주파수가 35Hz에서 225Hz까지 순차적으로 개선된 과정이 투명하게 공개돼 있어, 각 기법이 실제 지연시간 감소에 어떻게 기여하는지 파악하기 쉽다. 다만 이 수치들이 어떤 GPU/하드웨어 환경에서 측정됐는지 세부 사양은 이번 자료에서 확인되지 않았다.

이전 버전(1.0) 대비 차이점

장점과 한계

장점

LingBot-VA 2.0은 미세조정이 아닌 처음부터 학습된 인과 구조를 채택해 실시간 로봇 제어에 특화된 설계를 보여준다. RoboTwin 2.0에서 클린·랜덤화 데모 모두 93%대 성공률을 기록했고, 6.5배의 추론 속도 향상은 실제 로봇 배포 시 지연시간 문제를 크게 완화할 잠재력이 있다. GitHub와 프로젝트 페이지를 통해 코드와 논문을 공개해 커뮤니티가 직접 검증하고 개선할 수 있는 구조다.

한계

정확한 오픈소스 라이선스 조건은 이번 자료에 명시되어 있지 않아 공식 저장소·문서 확인이 필요하다. 벤치마크가 RoboTwin 2.0이라는 단일 시뮬레이션 환경에 한정돼 있어, 실제 물리 로봇 환경에서의 검증 데이터는 별도 확인이 필요하다. 하드웨어 요구사항이나 정확한 측정 환경(GPU 종류 등)도 구체적으로 공개되지 않았다.

전망

Robbyant는 1.0 대비 토크나이저, 백본, MoE 구조, 추론 방식 전반을 재설계하며 embodied AI 파운데이션 모델의 완성도를 높이고 있다. Ant Group이라는 대형 기업이 해당 모델을 오픈소스로 공개했다는 점은 로봇 조작 분야 연구 커뮤니티의 접근성을 넓히는 계기가 될 수 있다. 다만 시뮬레이션 벤치마크를 넘어 실제 물리 로봇 환경에서의 검증, 라이선스 조건의 명확화가 향후 채택 확산의 관건이 될 것으로 보인다.

결론

LingBot-VA 2.0은 처음부터 인과적으로 학습된 DiT와 MoE 구조를 결합해 RoboTwin 2.0 기준 93.6% 평균 성공률과 6.5배의 추론 속도 향상을 달성한 오픈소스 로봇 조작 파운데이션 모델이다. 로봇 제어 연구자와 embodied AI 개발자에게 실질적으로 참고할 만한 아키텍처와 벤치마크를 제공한다. 다만 라이선스 조건과 실환경 검증 데이터는 공식 저장소·문서에서 추가로 확인할 필요가 있다.