【DigiKey好物畅享】乐鑫ESP32-P4-EYE 使用上手及编程环境验证

因为系统对内嵌的图片和链接有数量限制,完整版请下载word附件,一共17页。

本帖包括ESP32-P4-EYE的使用上手和开发上手。

使用上手经验,记录了中间的几个小经验;

开发上手主要是讲VS code的ESP-IDF环境搭建,和出厂固件的编译和验证。

1 认识ESP32-P4-EYE板子

ESP32-P4-EYE 是一款面向摄像头应用的视觉开发板。该设备搭载 ESP32-P4 微控制器和 ESP32-C6无线模组,支持 MIPI-CSI 摄像头接口和 USB 2.0 High-Speed 从机模式。板载功能丰富,包括摄像头、显示屏、麦克风和MicroSD 卡扩展,使得设备能够实时监测周围环境并采集图像、音频数据。

适用于智能安防摄像头、视觉模型检测、物联网边缘计算等需要实时图像处理与无线通信的应用场景

开发资源

示例代码: esp-dev-kits/examples/esp32-p4-eye/README.md at master · espressif/esp-dev-kits · GitHub

功能亮点

- ESP32-P4 SoC:双核 RISC-V 处理器

- ESP32-C6-MINI-1U 模组:支持 Wi-Fi 6 and Bluetooth 5 (LE)

-内存:P4 芯片内封装 32MB PSRAM,板载 16 MB Flash,支持 MicroSD 存储卡

-摄像头:MIPI-CSI 接口的 200 万像素摄像头,具备手动聚焦和软件变焦功能

-显示:SPI 接口的 1.54 英寸液晶显示屏,分辨率为 240×240

-USB:用于数据传输和存储的 USB 2.0 高速接口(仅支持从机模式),用于调试和编程的 USB Serial Jtag 接口

- 安装接口:采用 1/4 英寸标准螺口用于安装摄像头支架

2 ESP32-P4-EYE实物体验

注意:里面没有电池,需要接USB TYPE C接口到电源

2.1 拍照及读取

避坑1:TF卡开始用64G,格式化为exfat32,USB电缆接USB2.0接口,插上电脑,反复重启;改用16G,格式化为FAT32。

避坑2:USB电缆接USB2.0接口时,自动进入U盘模式,无法做其他动作,如下,按下滚轮之后也有提示;拍照时需要插到、Debug USB口。

拍照时,会在TF卡自动创建esp32_p4_pic_save目录

如下是2两张照片

2.2 智能识别

有人脸探测和行人探测两种模式

下面是人脸探测的例子,可以同时圈住多个人脸,但是不是所有人脸。

智能人脸探测选择双眼 + 鼻子 + 嘴角两侧这 5 个点作为标志点,核心是在稳定性、辨识度、计算效率和鲁棒性之间达到最优折中,完全适配人脸检测的算法逻辑和实际应用需求。

早期人脸检测算法(如基于 Haar 特征的 Viola-Jones)就以这 5 个点为核心特征,后续的深度学习算法延续了这一思路:

  • 主流人脸标注数据集(如 FDDB、WIDER FACE)的基础标注都包含这 5 个点,基于这些数据集训练的模型,天然适配该特征点组合;

这 5 个点不仅用于 “探测人脸是否存在”,还能直接支撑后续的人脸对齐、姿态估计

  • 通过双眼的水平间距判断人脸大小;

  • 通过鼻子与双眼的垂直距离判断俯仰角;

  • 通过嘴角两点的对称度判断人脸是否偏转。

这些信息是后续人脸识别、人脸跟踪的基础。

人脸特征点数量升级的技术路线:从 5 点→68 点→1000 + 点

人脸特征点的数量升级,本质是 ** 从 “基础探测” 到 “精准分析” 再到 “精细建模”** 的能力递进,每一个阶段的点数设计都与算法算力、应用需求强绑定。

3 ESP32-P4-EYE开发上手

3.1 开发环境安装

避坑1:开始在eclipse IDE基础上增加5.5.2版本,把原来的5.3.1也搞乱了,感觉不知道如何管理多个版本,后来看了如下文章,感觉在vs code更方便。

避坑2: vs code里面安装完ESP-IDF,只是一个框架,需要在左侧advance里面点击配置,这里面可以选择ESP-IDF具体版本,可以多个版本共用,最好ESP-IDF和TOOLS分开两个目录。

这个文档有详细说明

IDF V5.5.2版本选择如下:

应该还可以安装多个版本,很方便。

3.2 factory_demo工程编译

从github下载ESP32-P4-EYE的example,打开factory_demo工程

成功编译

3.3 factory_demo下载

用 USB Debug接口

开始用一根USB线(好像是蓝牙耳机配的),始终没看到串口,后来换了一个手机用的usb type c 线,在串口助手看到了uart。

下载成功。

esptool.py v4.11.dev2

Found 3 serial ports

Serial port COM5

Connecting…

Chip is ESP32-P4 (revision v1.3)

Features: High-Performance MCU

Crystal is 40MHz

USB mode: USB-Serial/JTAG

MAC: 30:ed:a0:e2:1c:1a

Uploading stub…

Running stub…

Stub running…

Warning: ESP32-P4 has no Chip ID. Reading MAC instead.

MAC: 30:ed:a0:e2:1c:1a

Hard resetting via RTS pin…

Flash Done :high_voltage:

Flash has finished. You can monitor your device with ‘ESP-IDF: Monitor command’

4 心得体会

(1) ESP32-P4-EYE开发板很精致,硬件功能很多,固件功能也很多,非常喜欢。

(2) VS CODE的ESP-IDF开发环境比eclipse的更方便,多个版本管理起来更容易,不用考虑各种环境变量,它自己管理了。

(3) 固件例程功能全面,可以直接编译下来,非常好,可以作为后续开发的基础工程。

附件:

【DigiKey好物畅享】乐鑫ESP32-P4-EYE 使用上手及编程环境验证.docx (6.0 MB)