Trending

esp32-pie-asr

BoumedineBillalApache-2.02026.11.05

소스 ZIP · 5.0MB2026.11.05 스냅샷 · 68fcf81

STT54 Stars3 Forks76 조회

esp32-pie-asr는 마이크로컨트롤러 ESP32-P4 하나로 영어 음성을 실시간 스트리밍 인식하는 펌웨어이자 추론 엔진이다. 클라우드나 신경망 가속기 없이 RISC-V 코어 두 개와 PIE SIMD 명령만 쓴다. 6,570만 파라미터 스트리밍 트랜스듀서 Kroko를 2/4비트로 양자화해 가중치를 71MB에서 26.65MB로 줄였고, README 기준 LibriSpeech test-clean WER 4.34%, test-other 10.26%를 기록한다. 400MHz 두 코어에서 실시간 대비 0.70배로 동작하며 단어는 발화 후 약 2초 뒤 확정된다. 칩 결과가 PC 빌드와 비트 단위로 일치한다. 코드는 Apache-2.0, 가중치는 CC-BY-SA 4.0이다.

주요 특징

6,570만 파라미터 Kroko 스트리밍 Zipformer2 트랜스듀서를 그룹별 Hadamard 회전 2/4비트 양자화로 26.65MB까지 축소 (재학습 없음)
ESP32-P4 두 RISC-V 코어(400MHz)의 PIE SIMD 어셈블리 커널로 실시간 대비 0.70배 속도, LibriSpeech test-clean WER 4.34%
정수 연산(int8/int16)으로 칩 결과가 PC 빌드와 비트 단위로 일치해 PC에서 측정한 WER이 그대로 칩 성능이 됨
SD 카드 텍스트 파일로 지정하는 핫워드·문장 바이어싱을 화면에서 켜고 끄는 구문 인식 (재학습 불필요)
로봇 청소기·스마트홈·차량 등 6종 음성 제어 데모를 언어 모델 없이 단어 규칙으로 구동, 브라우저에서 바로 펌웨어 플래시 가능

Open Source

esp32-pie-asr

주요 특징

태그

관련 프로젝트

Whisper

whisper.cpp

Handy

WhisperX