주요 특징

• PyTorch(245MB)·CPython(107MB) 의존 없이 순수 C/CUDA로 GPT-2·GPT-3 미니시리즈 사전학습 재현
• 메인라인 train_gpt2.cu는 혼합 정밀도와 cuDNN Flash Attention(USE_CUDNN=1)을 지원하며 README 기준 PyTorch Nightly 대비 약 7% 빠름
• 약 1,000줄 단일 파일 CPU fp32 참조 구현과 단일 GPU fp32 레거시 코드로 LLM 학습 구조와 CUDA 학습에 활용 가능
• PyTorch 참조 구현(train_gpt2.py)과 로짓·손실·10회 학습 결과를 비교하는 단위 테스트(test_gpt2, test_gpt2cu)
• MPI·NCCL 기반 멀티 GPU 학습과 OpenMPI·공유 파일시스템·TCP 소켓 방식의 멀티 노드 학습 지원
• tinyshakespeare 등 데이터셋을 GPT-2 토크나이저로 토큰화해 C에서 읽기 쉬운 .bin 형식으로 저장하는 스크립트와 layernorm 구현 튜토리얼 제공