Crawl4AI는 LLM 학습 데이터 수집과 RAG 파이프라인 구축을 위해 설계된 오픈소스 웹 크롤러다. 핵심 기능은 세 가지로, 첫째 웹페이지를 노이즈 없는 클린 마크다운으로 자동 변환해 LLM이 바로 소비할 수 있는 형태로 만들고, 둘째 비동기 아키텍처와 Playwright 기반 헤드리스 브라우저로 JS 렌더링 사이트까지 대규모 병렬 크롤링을 수행하며, 셋째 CSS/XPath 셀렉터나 LLM 기반 추출 전략으로 원하는 구조화 데이터만 뽑아낼 수 있다. 세션 재사용, 프록시 로테이션, 응답 캐싱 등 프로덕션 환경에 필요한 옵션도 폭넓게 지원한다. Python 기반이며 Apache-2.0 라이선스로 공개되어 있다.