PyTorch 공식 대규모 생성형 AI 모델 학습 플랫폼으로, Meta에서 개발한 네이티브 분산 학습 라이브러리입니다. Llama 3.1 405B 등 초대형 모델의 효율적 학습을 지원하며, FSDP2, Tensor Parallel, Pipeline Parallel 등 다양한 병렬화 전략을 유연하게 조합할 수 있습니다. PyTorch 생태계와 완벽하게 통합되어 torch.compile, Float8 학습, 비동기 체크포인팅 등 최신 최적화 기술을 활용할 수 있으며, 모듈식 설계로 연구자와 엔지니어 모두에게 적합한 학습 환경을 제공합니다.