Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
공유 GPU 환경에서 LLM 서빙·학습을 위한 KV 캐시 라이브러리다. 운영체제의 가상 메모리 개념을 LLM 시스템에 도입해, 서빙 엔진이 처음에는 가상 주소 공간만 예약하고 캐시가 실제로 쓰일 때 물리 GPU 메모리를 연결하는 방식으로 KV 캐시를 수요에 맞춰 할당·회수한다. vLLM과 SGLang에 플러그인 형태로 붙으며, 여러 LLM이 하나의 GPU 메모리를 탄력적으로 나눠 쓰거나 서버리스 배포, 학습 작업과의 GPU 공존 같은 시나리오를 겨냥한다. 저장소 벤치마크에서는 A100-80G 한 장에 Llama-3.1-8B 3개를 올린 간헐적 피크 부하에서 TTFT가 2~28배 줄었다고 밝힌다. Apache-2.0 라이선스.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
NousResearch
스스로 학습하고 성장하는 자기 개선형 AI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료