Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 297 · Текст · ~5 мин

ElatoAI: голосовой Realtime API на ESP32 и Arduino

Урок 297 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это руководство показывает, как создать устройство голосового AI-агента с функцией Realtime AI Speech, работающей на OpenAI Realtime API, ESP32, Secure WebSockets и Deno Edge Functions для непрерывных глобальных разговоров продолжительностью более 10 минут.

Актуальная версия этого README доступна по ссылке ElatoAI.

Эталонная реализация использует микроконтроллер ESP32-S3 с минимальным набором дополнительных компонентов:

Необходимые компоненты:

  • Плата разработки ESP32-S3
  • Микрофон I2S (например, INMP441)
  • Усилитель I2S и динамик (например, MAX98357A)
  • Кнопка для начала/остановки разговора
  • RGB LED для визуальной обратной связи
  • Опционально: сенсорный датчик для альтернативного управления

Варианты аппаратного обеспечения: Полностью собранная печатная плата (PCB) и устройство доступны в магазине ElatoAI.

Управляйте своим AI-устройством на базе ESP32 с телефона с помощью собственного веб-приложения.

  1. Клонируйте репозиторий

Перейдите в репозиторий ElatoAI на GitHub и клонируйте его.

  1. Установите переменные окружения (OPENAI_API_KEY, SUPABASE_ANON_KEY)

В директории frontend-nextjs создайте файл .env.local и установите переменные окружения.

В директории server-deno создайте файл .env и установите переменные окружения.

  1. Запустите Supabase

Установите Supabase CLI и настройте локальный бэкенд Supabase. Из корневой директории выполните:

  1. Настройте свой NextJS Frontend

(См. README Frontend)

Из директории frontend-nextjs выполните следующие команды. (Учетные данные для входа: Email: admin@elatoai.com, Пароль: admin)

  1. Запустите Deno-сервер

(См. README Deno-сервера)

  1. Настройте прошивку устройства ESP32

(См. README устройства ESP32)

В Config.cpp установите ws_server и backend_server на ваш локальный IP-адрес. Выполните ifconfig в консоли и найдите en0 -> inet -> 192.168.1.100 (он может отличаться для вашей сети Wifi). Это указывает устройству ESP32 подключиться к вашему NextJS frontend и Deno-серверу, работающим на вашей локальной машине. Все службы должны находиться в одной сети Wifi.

  1. Настройте Wifi устройства ESP32

Скомпилируйте и загрузите прошивку на ваше устройство ESP32. ESP32 должен открыть портал авторизации ELATO-DEVICE для подключения к Wifi. Подключитесь к нему и перейдите по адресу http://192.168.4.1 для настройки Wifi устройства.

  1. После настройки учетных данных Wifi выключите…

План урока

  1. 👾 ElatoAI: Запуск речи OpenAI Realtime API на ESP32 с Arduino и Deno Edge Functions
  2. ⚡️ Самостоятельная разработка аппаратного обеспечения
  3. 📱 Дизайн приложения
  4. ✨ Руководство по быстрому старту
  5. 🚀 Готовы к запуску?
  6. Архитектура проекта
  7. 🌟 Ключевые особенности
  8. 🛠 Технологический стек

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды