О чём урок
Этот notebook использует модель Llama-3.1-70B-Instruct, чтобы взять очищенный текст из предыдущего notebook и преобразовать его в стенограмму подкаста.
SYSTEM_PROMPT используется для установки контекста или профиля модели при работе над задачей. Здесь мы даем ей prompt быть отличным создателем стенограмм подкастов, чтобы помочь нам с нашей задачей.
Эксперименты с SYSTEM_PROMPT ниже приветствуются; этот вариант показал наилучшие результаты для нескольких примеров, с которыми тестировался процесс:
Для тех читателей, кто хочет продемонстрировать свои финансовые возможности, пожалуйста, не стесняйтесь попробовать использовать модель 405B здесь.
Для наших друзей, испытывающих недостаток в GPU, вам также рекомендуется протестировать с меньшей моделью. 8B должна хорошо работать "из коробки" для этого примера:
Импортируем необходимый фреймворк
Считываем файл, сгенерированный ранее.
Детали кодировки предназначены для предотвращения проблем с общими PDF-файлами, которые могут быть загружены.
Поскольку мы определили роль System ранее, теперь мы можем передать весь файл как INPUT_PROMPT модели и заставить ее использовать это для генерации подкаста.
Hugging Face предлагает отличный метод pipeline(), который упрощает нам генерацию текста из LLM.
Мы установим temperature равным 1, чтобы стимулировать креативность, а max_new_tokens — 8126.
Это потрясающе, теперь мы можем сохранить и проверить вывод, сгенерированный моделью, прежде чем перейти к следующему notebook.
Сохраним вывод как pickle-файл и продолжим работу в Notebook 3.
Теперь у нас есть рабочая стенограмма, но мы можем попробовать сделать ее более драматичной и естественной. В следующем notebook мы используем модель Llama-3.1-8B-Instruct для этого.
План урока
- Notebook 2: Создатель стенограмм
- Следующий Notebook: Переписчик стенограмм
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.