ElatoAI: голосовой Realtime API на ESP32 и Arduino

О чём урок

Это руководство показывает, как создать устройство голосового AI-агента с функцией Realtime AI Speech, работающей на OpenAI Realtime API, ESP32, Secure WebSockets и Deno Edge Functions для непрерывных глобальных разговоров продолжительностью более 10 минут. Актуальная версия этого README доступна по ссылке ElatoAI. Эталонная реализация использует микроконтроллер ESP32-S3 с минимальным набором дополнительных компонентов: Необходимые компоненты: Плата разработки ESP32-S3 Микрофон I2S (например, INMP441) Усилитель I2S и динамик (например, MAX98357A) Кнопка для начала/остановки разговора RGB LED для визуальной обратной связи Опционально: сенсорный датчик для альтернативного управления Варианты аппаратного обеспечения: Полностью собранная печатная плата (PCB) и устройство доступны в магазине ElatoAI. Управляйте своим AI-устройством на базе ESP32 с телефона с помощью собственного веб-приложения. Выбор из списка AI-персонажей Общение с вашим AI в реальном времени Создание персонализированных AI-персонажей Клонируйте репозиторий Перейдите в репозиторий ElatoAI на GitHub и клонируйте его. Установите переменные окружения (OPENAI_API_KEY, SUPABASE_ANON_KEY) В директории frontend-nextjs создайте файл .env.local и установите переменные окружения. В директории server-deno создайте файл .env и установите переменные окружения. Запустите Supabase Установите Supabase CLI и настройте локальный бэкенд Supabase. Из корневой директории выполните: Настройте свой NextJS Frontend (См. README Frontend) Из директории frontend-nextjs выполните следующие команды. (Учетные данные для входа: Email: admin@elatoai.com, Пароль: admin) Запустите Deno-сервер (См. README Deno-сервера) Настройте прошивку устройства ESP32 (См. README устройства ESP32) В Config.cpp установите ws_server и backend_server на ваш локальный IP-адрес. Выполните ifconfig в консоли и найдите en0 -> inet -> 192.168.1.100 (он может отличаться для вашей сети Wifi). Это указывает устройству ESP32 подключиться к вашему NextJS frontend и Deno-серверу, работающим на вашей локальной машине. Все службы должны находиться в одной сети Wifi. Настройте Wifi устройства ESP32 Скомпилируйте и загрузите прошивку на ваше устройство ESP32. ESP32 должен открыть портал авторизации ELATO-DEVICE для подключения к Wifi.

План урока

1. 👾 ElatoAI: Запуск речи OpenAI Realtime API на ESP32 с Arduino и Deno Edge Functions
2. ⚡️ Самостоятельная разработка аппаратного обеспечения
3. 📱 Дизайн приложения
4. ✨ Руководство по быстрому старту
5. 🚀 Готовы к запуску?
6. Архитектура проекта
7. 🌟 Ключевые особенности
8. 🛠 Технологический стек