Trending

billion-context

ranxiangleiNOASSERTION2026.10.18

LLM1.7K Stars136 Forks51 조회

코딩 에이전트와 모델 API 사이에서 동작하는 컨텍스트 압축 프록시다. Anthropic·OpenAI 형식 요청을 받아 acp-kernel로 대화를 압축한 뒤 실제 모델 API로 전달하고 스트리밍 응답을 다시 쓴다. 고정 길이에서 잘라내는 방식이 아니라 모델이 compress·decompress·search_context·acp_status 도구를 직접 호출해 언제, 무엇을 요약할지 정하며, 요약은 작은 범위 단위로 점진적으로 쓰이고 필요 시 복원할 수 있어 프리픽스 캐시를 유지한다. Claude Code·Codex·OpenCode·Gemini CLI·Aider 등 20여 개 클라이언트를 네이티브 플러그인·런처·URL 변경 방식으로 지원한다. 라이선스는 MIT에 제품 화면 출처 표기 의무를 더한 형태다.

주요 특징

에이전트와 모델 API 사이에서 Anthropic·OpenAI 형식 요청을 파싱해 acp-kernel로 압축 후 전달하고 스트리밍 응답을 재작성하는 프록시
compress(범위 요약)·decompress(복원)·search_context(키워드 검색)·acp_status(사용량 확인) 도구를 주입해 모델이 압축 시점과 대상을 직접 결정
점진적·가역적 요약으로 프리픽스 캐시를 유지하도록 설계되었으며, README는 정상 세션의 캐시 적중률을 95~97%로 제시
Claude Code·Codex·OpenCode·pi·Gemini CLI·Kimi·Qwen Code·Aider·Copilot CLI 등 20여 개 클라이언트를 네이티브 플러그인·bili 런처·/bili/ URL 접두어 방식으로 연결
npm으로 설치하는 bili CLI 제공, 헬스체크·세션 통계·/acp 상태 확인 명령 지원
4.5개월간 174,327회 모델 호출을 분석한 압축 방식 논문(preprint)을 저장소에 함께 공개

Open Source

billion-context

주요 특징

태그

관련 프로젝트

Hugging Face Transformers

Gemini CLI

Hermes Agent

LLMs from Scratch