OpenAI 发了一个支持 ESP32 的 Realtime API SDK

美男子玩编程

“ 昨晚 OpenAI 正式发布了 o3 模型，AI 圈一片沸腾。作为电子工程师的我挠了挠头，好像和我没什么直接的关系

zwp1ojbc5crExpression_42@2x27935210.png

倒是 OpenAI 的另一个小发布，让我很感兴趣：一个可以在 Linux 和 ESP32 上使用的 Realtime API SDK。 ”

knrhlwxdqlo64027935311.png

对，就是上面这个项目，刚发布没多久，文档都几乎没有。感兴趣的小伙伴可以自己去看一下：https://github.com/openai/openai-realtime-embedded-sdk这个 SDK 能干嘛？这个 SDK 主要是给嵌入式硬件设计的，目前只支持乐鑫的 ESP32s3。以下是经过验证的两个开发板：

Freenove ESP32-S3-WROOM
Sonatino - ESP32-S3 Audio Development Board
其它的 ESP32-S3 硬件理论上也能跑，只是没有经过验证。
当然如果你只想玩一下，也可以不用任何硬件，直接在 Linux 上运行。SDK 基于 OpenAI 最新的 WebRTC，可以提供低延时的语音对话服务。Altman 在发布会上演示的 AI 实时语音对话、打断等就是基于 WebRTC。感兴趣的小伙伴可以看一下 WebRTC 的介绍：
https://platform.openai.com/docs/guides/realtime-webrtc

ygh441ylzjv64027935411.png

配置完成后build一下，然后烧录到 ESP32S 的固件里即可。接下去就可以直接调用 API 了。这种方式简化了硬件调用实时语音，甚至视觉识别的方法，典型的应用有：

陪伴类的玩具

可穿戴设备

智能音箱/语音助手国内有平替吗？
如果用不了 OpenAI，国内其实也有类似的服务，比如火山引擎的 RTC：
https://www.volcengine.com/product/veRTC
字节推出的显眼包2.0用的就是 RTC 服务：

i043dsfy3ls64027935511.png

在上周的“2024火山引擎冬季Force原动力大会”上，已经有不少硬件厂商展示了基于 RTC 的产品demo。其中有一个品牌“Haivivi”做了现场演讲，分享了他们的理念和创业经历。虽然只是一个“可以对话”的玩具，却有别于传统的智能音箱，得到了很多用户的认可。我在现场也体验了一下RTC的效果，延时在2~5秒之间，基本可以满足实时对话的要求。
字节的产品经理也提到了嵌入式的 SDK，但没有详细公布支持的硬件型号，估计还处于测试阶段。但毫无疑问，ESP肯定是合作伙伴之一。
“端插件”是什么？
专题论坛中还提到了“端”插件的概念。简单说就是把硬件的功能（比如调节音量、驱动电机等）以插件的形式注册在大模型的平台，端侧的硬件只要收集用户的输入，传输到大模型后由模型进行数据处理并根据解析的结果调用“端”插件执行硬件端的动作。

czssdh3fvbt64027935611.jpg

这种范式有可能降低硬件端的成本（因为端侧不再需要算力，只要做输入、输出及信息交互），并有可能降低开发的时间（可以很快添加语音识别、图像识别等功能，因为不用基于硬件开发，可以直接丢给模型处理）。这里的潜台词是：类似语音交互、图像识别的任务，大模型一定比本地的硬件做的好。当然前提是要能接受数据传输和处理的延时，另外数据安全也是需要考虑的因素之一。
结束语人工智能技术尤其是大模型和AIGC正以前所未有的速度迅猛发展，它们的影响力已经渗透到各个行业，包括电子硬件领域。作为电子硬件工程师，我们站在技术革新的前沿，面临着前所未有的机遇与挑战。我们必须深入思考，如何将AIGC等前沿技术与硬件设计相结合，以实现创新突破。打造出更智能、更高效、更符合市场需求的产品，从而在激烈的市场竞争中占据有利地位。

注意：如果想第一时间收到 KiCad 内容推送，请点击下方的名片，按关注，再设为星标。
常用合集汇总：

和 Dr Peter 一起学 KiCad
KiCad 8 探秘合集
KiCad 使用经验分享KiCad 设计项目（Made with KiCad）常见问题与解决方法KiCad 开发笔记插件应用
发布记录