Hackaday Prize 2023: Eyebreak가 획기적인 발전이 될 수 있습니다.

뇌졸중이나 기타 쇠약한 상태가 있는 사람들의 경우 눈꺼풀에 대한 제어는 마지막 남은 운동 기능 중 하나일 수 있습니다. [MBW]는 TV 인터뷰에서 모스 부호로 깜박이는 [Jeremiah Denton]에서 영감을 받아 깜박임을 단어로 해독하는 ESP32 기반 장치를 설계했습니다.

ESP32는 키보드 시뮬레이션을 위해 Bluetooth를 제공하고 상대적으로 전력 소비가 낮지만 제한된 환경에서 초당 20프레임으로 적절한 깜박임 감지 시스템을 실행하는 것은 어렵습니다. 이전 시도에서는 얼굴 랜드마크를 사용하여 비율을 기반으로 눈이 열려 있는지 감겨 있는지 확인했습니다. XGBoost 분류기와 결합된 캐스케이드 감지기는 뛰어난 성능을 제공했지만 눈이 중앙에 있지 않을 때 어려움을 겪었습니다. 궁극적으로 TensorFlow Lite의 50×50, 4계층 CNN은 카메라 프레임을 처리하여 눈을 떴거나 감고 있는 단일 출력을 생성합니다. 디버깅 목적으로 OpenCV를 통한 주석과 함께 Wi-Fi를 통해 카메라 프레임을 스트리밍하지만 OpenCV를 ESP32용으로 컴파일하는 것도 쉽지 않았습니다.

[MBW]는 MRL 데이터 세트를 사용하여 모델을 훈련한 다음 int8로 양자화했습니다. Bluetooth와 Wi-Fi 스택을 동시에 실행하는 것은 RAM 관리와 마찬가지로 약간의 고통이었습니다. SRAM과 IRAM을 모두 소모한 후 [MBW]는 PRAM으로 전환해야 했습니다. 전체 시스템은 가벼운 고글에 내장되어 있어 상당히 편안한 경험을 제공합니다.

TensorFlow와 마이크로 컨트롤러는 약간 이상한 커플처럼 보일 수 있지만 결국 추론 엔진은 일부 가중치가 있는 입력 배열에 대해 수학을 수행할 뿐입니다. 우리는 Commodore 64에서 TensorFlow Lite를 본 적도 있습니다. [Jerimiah Denton 제독]에 대해 모르신다면 이에 대해 알려드릴 수 있습니다.