Open Source
GitHub, HuggingFace의 최신 AI 오픈소스 프로젝트를 탐색하세요.
tinybrain은 데이터셋·토크나이저·모델·학습 파이프라인을 모두 PyTorch로 직접 구현한 중국어 중심 소형 언어 모델 프로젝트다. 26개 공개 출처를 정제·중복 제거한 60B 토큰 데이터셋을 공개하고, 다중 스트림 잔차(mHC), Engram 조회 메모리, 슬라이딩 윈도우 어텐션, 선택형 MoE, Muon 옵티마이저를 적용했다. 후학습은 SFT, 다중 교사 온라인 증류(MOPD), 강화학습(RLVR·agent RL·RLAIF)까지 포함한다. 11월 19일 1.67억·4.99억 파라미터 Small/Medium Chat RC1 연구용 가중치를 공개했으며, README는 대화 품질에 아직 뚜렷한 한계가 있다고 밝힌다.
huggingface
SOTA 기계학습 모델을 위한 오픈소스 모델 정의 프레임워크
google-gemini
터미널에서 Gemini AI를 사용하는 Google 공식 CLI 에이전트
NousResearch
스스로 학습하고 성장하는 자기 개선형 AI 에이전트
rasbt
PyTorch로 ChatGPT 스타일 LLM을 처음부터 구현하는 교육용 자료