О чём урок
Это руководство показывает, как создать устройство голосового AI-агента с функцией Realtime AI Speech, работающей на OpenAI Realtime API, ESP32, Secure WebSockets и Deno Edge Functions для непрерывных глобальных разговоров продолжительностью более 10 минут.
Актуальная версия этого README доступна по ссылке ElatoAI.
Эталонная реализация использует микроконтроллер ESP32-S3 с минимальным набором дополнительных компонентов:
Необходимые компоненты:
- Плата разработки ESP32-S3
- Микрофон I2S (например, INMP441)
- Усилитель I2S и динамик (например, MAX98357A)
- Кнопка для начала/остановки разговора
- RGB LED для визуальной обратной связи
- Опционально: сенсорный датчик для альтернативного управления
Варианты аппаратного обеспечения: Полностью собранная печатная плата (PCB) и устройство доступны в магазине ElatoAI.
Управляйте своим AI-устройством на базе ESP32 с телефона с помощью собственного веб-приложения.
- Клонируйте репозиторий
Перейдите в репозиторий ElatoAI на GitHub и клонируйте его.
- Установите переменные окружения (OPENAI_API_KEY, SUPABASE_ANON_KEY)
В директории frontend-nextjs создайте файл .env.local и установите переменные окружения.
В директории server-deno создайте файл .env и установите переменные окружения.
- Запустите Supabase
Установите Supabase CLI и настройте локальный бэкенд Supabase. Из корневой директории выполните:
- Настройте свой NextJS Frontend
(См. README Frontend)
Из директории frontend-nextjs выполните следующие команды. (Учетные данные для входа: Email: admin@elatoai.com, Пароль: admin)
- Запустите Deno-сервер
(См. README Deno-сервера)
- Настройте прошивку устройства ESP32
(См. README устройства ESP32)
В Config.cpp установите ws_server и backend_server на ваш локальный IP-адрес. Выполните ifconfig в консоли и найдите en0 -> inet -> 192.168.1.100 (он может отличаться для вашей сети Wifi). Это указывает устройству ESP32 подключиться к вашему NextJS frontend и Deno-серверу, работающим на вашей локальной машине. Все службы должны находиться в одной сети Wifi.
- Настройте Wifi устройства ESP32
Скомпилируйте и загрузите прошивку на ваше устройство ESP32. ESP32 должен открыть портал авторизации ELATO-DEVICE для подключения к Wifi. Подключитесь к нему и перейдите по адресу http://192.168.4.1 для настройки Wifi устройства.
- После настройки учетных данных Wifi выключите…
План урока
- 👾 ElatoAI: Запуск речи OpenAI Realtime API на ESP32 с Arduino и Deno Edge Functions
- ⚡️ Самостоятельная разработка аппаратного обеспечения
- 📱 Дизайн приложения
- ✨ Руководство по быстрому старту
- 🚀 Готовы к запуску?
- Архитектура проекта
- 🌟 Ключевые особенности
- 🛠 Технологический стек
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.