Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Laya-MLX는 선택지 고르기·루브릭 채점·참/거짓 판정 같은 제한된 질문에 답하는 Laya 결정 모델을 Apple Silicon에서 MLX로 직접 실행하는 오픈소스 추론 런타임이다. 토큰을 생성하지 않고 양방향 인코더의 순전파 한 번으로 선택지별 보정된 확률을 돌려주므로 JSON 파싱이 필요 없다. PyTorch·Transformers·클라우드 API 없이 동작하며, M3 Max FP16 기준 짧은 영어 질문 하나에 중앙값 13.4ms, 다국어 체크포인트는 7.4ms를 기록했다. 421M·322M 파라미터 사전 변환 체크포인트 3종을 Hugging Face로 배포한다. Convai Innovations 공식 릴리스가 아닌 독립 포팅이며 Python, Apache-2.0 라이선스.
ollama
로컬 LLM을 쉽게 실행하는 도구
ggml-org
C/C++로 작성된 로컬 LLM 추론 엔진
exo-explore
일상 기기를 AI 클러스터로 연결하는 분산 추론 플랫폼
JustVugg
초대형 MoE 모델의 전문가를 디스크에서 스트리밍해 개인 하드웨어에서 돌리는 순수 C 추론 엔진