주요 특징

• pip install openlake-vllm 후 vLLM의 --kv-transfer-config에 OpenLakeConnector를 지정하면 추론 코드 변경 없이 KV 캐시를 호스트 RAM과 디스크로 오프로드합니다.
• 물리 코어마다 compio 런타임을 하나씩 고정 배치하고 io_uring으로 비동기 I/O를 처리해, 요청이 핫 패스 내내 같은 코어에 머물도록 work stealing과 코어 간 경합을 피합니다.
• GPUDirect Storage와 RDMA를 사용해 NVMe 또는 RDMA NIC와 GPU 메모리 사이를 호스트 메모리나 페이지 캐시를 거치지 않고 직접 전송합니다.
• S3 호환 오브젝트 스토어로도 동작해 aws s3 명령이나 기존 S3 클라이언트로 체크포인트(safetensors)를 그대로 읽고 쓸 수 있습니다.
• SIMD Reed-Solomon 소거 부호로 데이터와 패리티를 여러 드라이브에 분산해, 전체 복제보다 적은 용량 오버헤드로 내구성을 확보하고 PacedRDMA의 크레딧 기반 흐름 제어로 버스트 시 테일 레이턴시를 관리합니다.