Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 148 · Текст · ~5 мин

Дообучаем LLM-судью ловить галлюцинации с W&B

Урок 148 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этих notebook'ах вы узнаете, как отслеживать вызовы API MistralAI с помощью W&B Weave, как оценивать производительность ваших моделей и как сократить разрыв, используя возможности finetuning MistralAI.

В этих notebook'ах мы будем fine-tune модель Mistral 7B в качестве LLM-судьи. Эта идея взята из замечательной статьи в блоге Юджина. Основная цель — fine-tune небольшую модель, такую как Mistral 7B, чтобы она выступала в роли судьи галлюцинаций. Мы сделаем это в 2 этапа:

  • Обучение на сложном наборе данных Factual Inconsistency Benchmark для улучшения производительности модели в обнаружении галлюцинаций путём выявления несоответствий между фрагментом текста и «резюме»
  • Затем мы смешаем этот набор данных с набором данных резюме из Википедии, чтобы ещё больше повысить производительность.
  • Weights & Biases: https://wandb.ai/
  • Документация по finetuning Mistral: https://docs.mistral.ai/capabilities/finetuning/
  • Трассировка с помощью W&B Weave: https://wandb.me/weave

импортируем необходимые компоненты

некоторые глобальные переменные

Мы будем отображать значения в 0 и 1 ради простоты!

Вы, вероятно, интегрируете вызовы API MistralAI в свою кодовую базу, создав функцию, подобную приведённой ниже:

Давайте создадим prompt, который объясняет задачу...

Давайте оценим модель на валидационной выборке набора данных

Попробуем добавить пример из блога Юджина:

Это сложный набор данных!

Эта модель значительно лучше! Точность более 80% — это отличный результат для такой сложной задачи 😎

Посмотрим, улучшит ли это fine-tuning.

Вам потребуется немного иначе форматировать ваши prompt'ы для FT

  • вместо ChatMessage используйте dict
  • Добавьте output

Вы могли бы использовать другие продвинутые наборы данных или pandas, но это небольшой набор данных, поэтому давайте не будем усложнять...

Итак, теперь давайте создадим задание fine-tune с помощью Mistral API. Несколько вещей, которые нужно знать:

  • У вас есть только 2 параметра для работы: training_steps и learning_rate
  • Вы можете использовать dry_run=True, чтобы получить оценку стоимости
  • training_steps не связаны напрямую с эпохами; в документации есть эмпирическое правило.

Мы хотим выполнить 10 эпох…

План урока

  1. Загрузка данных
  2. Оценка
  3. 7B
  4. Немного доработаем prompt...
  5. Large
  6. Fine-Tune для победы
  7. Загрузка набора данных
  8. Создание задания fine-tuning

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды