CTranslate2는 Transformer 계열 모델을 CPU·GPU에서 빠르게 추론하도록 만든 C++·Python 라이브러리다. 가중치 양자화, 레이어 퓨전, 배치 재정렬 등 런타임 최적화 기법을 적용해 표준 딥러닝 프레임워크 대비 메모리 사용량을 줄이면서 실행 속도를 높인다. FP16·BF16·INT16·INT8·AWQ 등 다양한 양자화 포맷을 지원하고 x86-64·ARM64 프로세서를 자동으로 감지하며, GPU·코어 전반에 걸친 병렬·비동기 배치 처리와 텐서 병렬화를 통한 분산 추론도 지원한다. Transformers, Fairseq, OpenNMT 계열 등 여러 프레임워크에서 학습한 모델을 변환기로 가져와 encoder-decoder, decoder-only, encoder-only 구조를 모두 다룰 수 있다. OpenNMT 프로젝트에서 개발했으며 번역 모델 서빙을 중심으로 오래 검증돼온 추론 엔진이다.