NVIDIA가 개발한 GPU 최적화 대규모 트랜스포머 모델 학습 라이브러리입니다. Megatron-LM(학습 스크립트 레퍼런스 구현)과 Megatron Core(커스텀 프레임워크용 조합형 라이브러리) 두 모듈로 구성됩니다. 텐서 병렬화, 파이프라인 병렬화, FSDP/DDP 분산 학습, FP16/BF16/FP8/FP4 혼합 정밀도를 지원하며, 2B에서 462B 파라미터 모델까지 학습 가능합니다. H100 클러스터에서 최대 47% Model FLOP Utilization을 달성합니다. 최신 v0.16.0에서는 Dynamic Context Parallelism(가변 길이 시퀀스 학습 1.48배 속도 향상), 멀티 데이터센터 학습, Mamba 모델 지원 등이 추가되었습니다.