Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
KVMem은 제한된 GPU 메모리에서 긴 컨텍스트 대화와 AI 에이전트를 실행하기 위한 KV 캐시 가상화 계층이다. 전체 KV 히스토리를 시스템 RAM에 보관하고 필요하면 SSD로 계층화하며, GPU에는 현재 요청에 필요한 히스토리와 생성용 공간만 올린다. NInfer, llama.cpp, PolyStrata, Radiance(AMD RDNA4) 백엔드를 지원하고 로컬 웹 UI와 OpenAI 호환 API를 제공한다. README 데모는 RTX 5060 Ti 16GB에서 27B IQ3 모델로 xhigh 추론을 실행한 사례이며, 설계는 arXiv 논문으로 공개되어 있다. 저장소 루트에 라이선스 파일은 없고 각 백엔드는 업스트림 라이선스를 따른다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진