주요 특징

• 실행 모드를 세 가지로 나눠 하드웨어 사정에 맞춰 고르게 했습니다. Colocate는 Actor와 Rollout이 같은 GPU를 시분할하며 Rollout이 배치를 다 쓴 뒤 GPU를 넘기는 방식으로, 자원이 빠듯하고 엄격한 on-policy 학습이 필요할 때 씁니다. Fully Async는 Actor, Rollout, ActorFwd, Reference, Advantages를 각각 독립된 GPU 클러스터에 올려 병렬로 돌립니다. Hybrid는 Actor와 Rollout만 분리하고 ref와 actor_fwd, advantages는 Actor GPU 안에서 처리해, 별도 서비스 비용 없이 스트리밍 파이프라인과 --balance-data를 함께 쓰게 합니다.
• 비동기 학습의 핵심은 TransferQueue를 통한 스트리밍입니다. StreamingDataLoader 덕분에 Actor는 Rollout이 샘플을 다 만들 때까지 기다리지 않고 쌓이는 대로 소비하기 때문에 단계 사이의 GPU 유휴 시간이 사라집니다. 학습 데이터가 얼마나 off-policy로 밀려도 되는지는 --max-staleness로 조절해 정확도와 처리량 사이를 조율하고, 가중치 동기화는 DCS(Distributed Checkpoint Service)가 NCCL 브로드캐스트로 처리하면서 다음 학습 연산과 겹쳐 실행합니다.
• RL 학습 시간의 60~70%가 Rollout 단계에 쓰인다는 관찰에서 출발한 탄력적 스케일링 기능이 있습니다. HTTP REST API로 학습 루프를 멈추지 않고 추론 엔진을 늘리거나 줄일 수 있으며, 현재 Ray 클러스터 안에서 SGLang 엔진을 새로 띄우는 ray_native 모드와 다른 클러스터에 이미 떠 있는 엔진을 등록해 쓰는 external 모드를 지원합니다. 스케일링은 비동기·멱등적으로 동작하고 graceful drain 후 제거, 취소 시 롤백을 지원하며, 기동 시 지정한 엔진은 보호돼 동적으로 추가된 엔진만 축소 대상이 됩니다.
• 알고리즘과 보상 함수를 갈아 끼우기 쉽게 설계돼 있습니다. PPO, GRPO, GSPO, SAPO, CISPO와 On-Policy Distillation이 기본 제공되고, 새 알고리즘은 서비스 클래스를 구현해 ALGOS 레지스트리에 등록하면 됩니다. 보상 쪽도 수학(DeepScaler, DAPO), GPQA, F1, IFBench, 객관식, 멀티모달 Open-R1이 내장돼 있고 LLM을 심판으로 쓰는 GenRM 모드를 제공하며, 커스텀 보상은 relax/engine/rewards/ 에 파일 하나를 넣는 것으로 끝납니다.
• 에이전트 학습과 운영 기능이 실제 클러스터 운용을 전제로 갖춰져 있습니다. 다중 턴 샘플링에서 모델 출력(mask=1)과 환경 관측(mask=0)을 분리하는 loss masking, reset·step·format_observation 세 메서드로 정의되는 BaseInteractionEnv 인터페이스, VLM의 시각 관측을 턴마다 누적 병합하는 처리가 들어 있습니다. 운영 측면에서는 하트비트를 감시해 개별 재시작 후 전역 재시작으로 넘어가는 2단계 자동 복구(HealthManager), WandB·TensorBoard·ClearML로 팬아웃하는 중앙 메트릭 서비스, Apprise 기반 실시간 알림을 제공합니다.