Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
알리바바가 자사의 대규모 프로덕션 서비스에 실제로 사용하는 고성능 LLM 추론 엔진이다. 타오바오·티몰 등 초대형 트래픽 환경에서 검증된 continuous batching과 페이지드 어텐션 기반 스케줄링으로 처리량을 극대화하며, 다양한 양자화 기법을 지원해 GPU 메모리 사용량을 크게 줄인다. LLaMA, GPT 계열을 비롯한 주요 오픈소스 모델 아키텍처와 폭넓게 호환되고, 멀티모달·임베딩 등 다양한 워크로드에도 대응할 수 있도록 설계되었다. 프로덕션 LLMOps 파이프라인에 통합하기 쉬운 구조를 갖추고 있어 실서비스 배포를 목표로 하는 팀에 적합하다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료
punkpeye
LLM 도구 연동 표준 MCP 서버 큐레이션 모음