Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
RedKnot은 rednote 머신러닝 팀이 공개한 장문 컨텍스트 LLM 서빙 프레임워크로, SGLang 위에 구축됐다. 어텐션 헤드를 장문 컨텍스트에서의 동작에 따라 분류해 재사용 가능한 로컬 헤드는 오프라인으로 준비하고 글로벌·검색 헤드는 온라인으로 계산하는 헤드 분해, 토큰 중요도에 따라 FFN 연산 대상을 고르고 MoE 전문가 Top-K를 적응적으로 조정하는 희소 실행, 헤드·세그먼트 단위로 KV 페이지를 구성하는 SegPagedAttention을 결합한다. 프로젝트 측은 품질 저하 1%p 이내, hot-state TTFT 2~5배 단축을 목표로 제시한다. DeepSeek-V4-Flash 재현 스크립트와 arXiv 논문(2606.06256)을 제공하며 Apache 2.0 라이선스다.

ollama
로컬 LLM을 쉽게 실행하는 도구

ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진

exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진