Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 32 · Текст · ~5 мин

Демо-приложение на Llama: что оно умеет

Урок 32 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

  • Как использовать YoutubeLoader из LangChain для получения субтитров YouTube-видео
  • Как попросить Llama 3 наивно суммировать содержимое видео (в пределах лимита входного размера Llama) с помощью метода `stuff` из LangChain
  • Как обойти ограничение Llama 3 на длину контекста в 8k, используя более сложный подход с методами refine и map_reduce из LangChain — подробнее см. здесь

Начнем с установки необходимых пакетов:

  • youtube-transcript-api API для получения транскрипции/субтитров YouTube-видео
  • langchain предоставляет необходимые RAG-инструменты для этой демонстрации
  • tiktoken токенизатор BytePair Encoding
  • pytube Утилита для скачивания YouTube-видео

Сначала загрузим транскрипцию длинного (2:47:16) YouTube-видео (Лекс Фридман с Яном Лекуном: Meta AI, открытый исходный код, ограничения LLM, AGI и будущее ИИ) с помощью YoutubeLoader.

Вы должны увидеть 142689 в качестве длины документа в символах, что составляет около 30 тысяч слов или 40 тысяч токенов, превышая лимит длины контекста Llama 3 в 8k. Вы увидите, как суммировать текст, превышающий этот лимит.

Примечание: Мы будем использовать Replicate для запуска примеров. Вам потребуется сначала войти в Replicate с помощью вашей учетной записи GitHub, затем создать бесплатный API token здесь, который вы сможете использовать некоторое время. Вы также можете использовать других облачных провайдеров Llama 3, таких как Groq, Together или Anyscale — подробнее см. в разделе 2 notebook «Знакомство с Llama».

Если вы хотите запустить Llama 3 локально ради конфиденциальности, отсутствия затрат или ограничений скорости (некоторые хостинг-провайдеры Llama 3 устанавливают лимиты для бесплатных планов по количеству запросов или токенов в секунду/минуту), см. Запуск Llama локально.

Далее вы вызовете чат-модель Llama 3 70b из Replicate, поскольку она мощнее чат-модели Llama 3 8b при суммировании длинного текста. Вы также можете попробовать модель Llama 3 8b, заменив имя model на "meta/meta-llama-3-8b-instruct".

Как только все настроено, вы можете дать Llama 3 prompt для суммирования первых 4000 символов транскрипции.

Примечание: Длина контекста в 8k токенов в Llama 3 составляет примерно 6000-7000 слов или…

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды