IPEX-LLM은 인텔이 개발한 오픈소스 라이브러리로, Llama, Mistral, ChatGLM, Qwen, DeepSeek, Gemma, Phi 등 주요 LLM을 인텔 XPU(내장 GPU, NPU, Arc/Flex/Max 외장 GPU 등) 환경에서 저지연으로 추론하고 파인튜닝할 수 있도록 최적화합니다. INT4/FP4/INT8 등 다양한 저정밀도 양자화를 자동 적용해 일반 PC와 엣지 디바이스에서도 대형 모델을 실행할 수 있게 해주며, llama.cpp, Ollama, vLLM, HuggingFace Transformers, LangChain, LlamaIndex 등 기존 생태계 도구와 무리 없이 통합됩니다. 인텔 하드웨어에 특화된 커널 최적화 덕분에 로컬 온디바이스 AI 추론에서 뚜렷한 성능 이점을 제공하는 것이 특징입니다.