Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
SQLite AI가 공개한 C 기반 임베디드 추론 엔진(Weight-Aware Runtime and Paging, 구 WASTE)으로, 서드파티 런타임 의존성이 없다. 모델의 공유 트렁크만 메모리에 두고 라우터가 고른 전문가 가중치를 NVMe에서 직접 스트리밍하며, 남는 RAM은 전문가 캐시로 쓴다. 다음 레이어 전문가를 미리 읽는 룩어헤드 라우터와 3비트 잔차 벡터 양자화를 적용해, 2.78조 파라미터 Kimi K3 전체 모델을 64GB MacBook Pro에서 약 0.6 tok/s, DeepSeek-V4.1-Flash를 약 3.8 tok/s로 실행했다. GLM-5.3-Flash 이미지 입력과 DeepSeek-V3 계열 변환도 지원한다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료
punkpeye
LLM 도구 연동 표준 MCP 서버 큐레이션 모음