Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
Google이 개발한 엣지 디바이스 전용 LLM 추론 프레임워크입니다. 스마트폰, IoT 기기, 데스크톱 등 리소스가 제한된 환경에서 대규모 언어 모델을 고성능으로 실행할 수 있도록 최적화되었습니다. GPU와 NPU 하드웨어 가속을 지원하며, Gemma, Llama, Phi-4, Qwen 등 다양한 오픈소스 모델과 호환됩니다. 비전과 오디오 입력을 포함한 멀티모달 기능을 제공하고, 에이전틱 워크플로우를 위한 함수 호출(Function Calling)도 지원합니다. Android, iOS, Web, Desktop, Raspberry Pi 등 크로스 플랫폼 배포가 가능하여 프로덕션 환경에서 바로 사용할 수 있는 것이 큰 장점입니다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료

vllm-project
고성능 LLM 추론 및 서빙 엔진
hiyouga
100개 이상 LLM/VLM 통합 파인튜닝 프레임워크