Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
LightSeek Foundation이 공개한 '빛의 속도(speed-of-light)'를 표방하는 LLM 추론 엔진으로, 에이전트형(agentic) 워크로드에 특화되어 설계되었습니다. TensorRT-LLM 수준의 성능과 vLLM 수준의 사용성을 동시에 추구하며, 단 두 달 만에 소규모 미션 지향 팀이 구축했습니다. 정적 컴파일러 기반의 local-SPMD 모델링 레이어, C++ 컨트롤 플레인 스케줄러와 Python 실행 플레인의 분리, MLA(Multi-head Latent Attention)를 구현한 계층형 커널 시스템이 핵심입니다. AsyncLLM 엔트리포인트로 저지연 요청 처리를 지원하며 Kimi K2.5, Qwen3.5-397B-A17B 등을 지원하고 Blackwell 하드웨어에 최적화되어 있습니다. 특히 MLA 커널은 투기적 디코딩 워크로드에서 TensorRT-LLM 대비 디코드 지연을 거의 절반으로 줄여 vLLM에도 채택되었습니다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료
punkpeye
LLM 도구 연동 표준 MCP 서버 큐레이션 모음