마이크로소프트에서 시작해 현재 DeepSpeed 재단이 관리하는 딥러닝 최적화 라이브러리로, 수십억에서 수조 파라미터 규모의 대규모 언어 모델을 효율적으로 학습하고 추론할 수 있게 해줍니다. 핵심 기술인 ZeRO는 옵티마이저 상태·그래디언트·파라미터를 여러 GPU에 분산해 메모리 사용량을 획기적으로 줄이며, 데이터·파이프라인·텐서 병렬화를 결합해 확장성을 높입니다. DeepSpeed-Inference는 커널 최적화와 양자화로 추론 지연을 낮추고, MoE(전문가 혼합) 모델과 혼합 정밀도 학습도 지원합니다. PyTorch와 긴밀히 통합됩니다.