О чём урок
Monday — это обучающий AI-компаньон с голосовым управлением, разработанный для преодоления разрыва между запросами на естественном языке и высококачественным образовательным контентом. Вдохновленный JARVIS и FRIDAY из вселенной Marvel, Monday предоставляет индивидуальные ответы в трех режимах — базовом (Basic), режиме рассуждений (Reasoning) и режиме глубокого исследования (Deep Research) — одновременно интегрируя иммерсивные визуализации, тщательно отобранный видеоконтент и дизайн, ориентированный на доступность.
- Три режима обучения: Базовые фактические ответы, пошаговые рассуждения и глубокие исследовательские изыскания
- Голосовое взаимодействие как основной способ для обучения без использования рук с обработкой естественного языка
- Трехмерные визуализации концепций в реальном времени с использованием Three.js и WebXR
- Интеграция тщательно отобранных образовательных видео с YouTube из проверенных источников
- Мультимодальная обратная связь, объединяющая текст, речь (через ElevenLabs) и пространственные панели
- Дизайн с опциональной поддержкой VR для иммерсивных впечатлений без необходимости использования гарнитуры
- Интерфейс, ориентированный на доступность для пользователей с нарушениями опорно-двигательного аппарата и зрения
- Node.js 18 LTS или новее
- Современный веб-браузер (рекомендуются Chrome, Edge или Firefox)
- Микрофон для голосового взаимодействия
- Опционально: VR-гарнитура для иммерсивного режима (совместимая с WebXR)
- Ключ API Perplexity, ключ API ElevenLabs и ключ API YouTube
- Запустите приложение в браузере
- Скажите "Hey Monday", чтобы активировать ассистента
- Задайте вопрос в одном из трех режимов: Базовый режим (Basic Mode) – "Что такое фотосинтез?"
- Режим рассуждений (Reasoning Mode) – "Подумай, как работает блокчейн."
- Режим глубокого исследования (Deep Research Mode) – "Исследуй историю квантовой механики."
- Просматривайте ответы в виде плавающих текстовых панелей, голосовых ответов и интерактивных 3D-моделей
- Frontend: TypeScript с Three.js для 3D-визуализаций и WebXR для поддержки VR
- Backend: Node.js с Socket.IO для обработки голосовых команд в реальном времени
- Интеграция AI: Perplexity Sonar API для интеллектуальных ответов с извлечением рассуждений
- Обработка голоса: ElevenLabs для синтеза речи и понимания естественного языка
- Подбор контента: Интеграция YouTube API с интеллектуальным извлечением ключевых слов для образовательных видео
- Доступность: Дизайн, ориентированный на голос, с поддержкой пространственного аудио и тактильной обратной…
План урока
- Возможности
- Предварительные требования
- Установка
- Использование
- Описание кода
- Демонстрационное видео
- Ссылки
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.