Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
NVIDIA가 개발한 LLM 가드레일 오픈소스 툴킷입니다. LLM 기반 대화 시스템에 프로그래밍 가능한 안전장치를 쉽게 추가할 수 있습니다. 입력 레일(사용자 입력 검증), 출력 레일(응답 검열), 대화 레일(Colang 언어로 대화 흐름 제어), 검색 레일(RAG 콘텐츠 필터링), 실행 레일(도구 호출 보안) 등 5가지 레일 시스템을 제공합니다. 제일브레이크 및 프롬프트 인젝션 방어가 내장되어 있으며, LangChain과 원활하게 통합됩니다. Docker 기반 HTTP API 서버 배포와 동기/비동기 Python API를 모두 지원하여 엔터프라이즈 환경에 적합합니다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료

vllm-project
고성능 LLM 추론 및 서빙 엔진
hiyouga
100개 이상 LLM/VLM 통합 파인튜닝 프레임워크