Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 07 · Текст · ~5 мин

Пишем сценарий подкаста по тексту

Урок 7 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook использует модель Llama-3.1-70B-Instruct, чтобы взять очищенный текст из предыдущего notebook и преобразовать его в стенограмму подкаста.

SYSTEM_PROMPT используется для установки контекста или профиля модели при работе над задачей. Здесь мы даем ей prompt быть отличным создателем стенограмм подкастов, чтобы помочь нам с нашей задачей.

Эксперименты с SYSTEM_PROMPT ниже приветствуются; этот вариант показал наилучшие результаты для нескольких примеров, с которыми тестировался процесс:

Для тех читателей, кто хочет продемонстрировать свои финансовые возможности, пожалуйста, не стесняйтесь попробовать использовать модель 405B здесь.

Для наших друзей, испытывающих недостаток в GPU, вам также рекомендуется протестировать с меньшей моделью. 8B должна хорошо работать "из коробки" для этого примера:

Импортируем необходимый фреймворк

Считываем файл, сгенерированный ранее.

Детали кодировки предназначены для предотвращения проблем с общими PDF-файлами, которые могут быть загружены.

Поскольку мы определили роль System ранее, теперь мы можем передать весь файл как INPUT_PROMPT модели и заставить ее использовать это для генерации подкаста.

Hugging Face предлагает отличный метод pipeline(), который упрощает нам генерацию текста из LLM.

Мы установим temperature равным 1, чтобы стимулировать креативность, а max_new_tokens — 8126.

Это потрясающе, теперь мы можем сохранить и проверить вывод, сгенерированный моделью, прежде чем перейти к следующему notebook.

Сохраним вывод как pickle-файл и продолжим работу в Notebook 3.

Теперь у нас есть рабочая стенограмма, но мы можем попробовать сделать ее более драматичной и естественной. В следующем notebook мы используем модель Llama-3.1-8B-Instruct для этого.

План урока

  1. Notebook 2: Создатель стенограмм
  2. Следующий Notebook: Переписчик стенограмм

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды