О чём урок
В этих notebook'ах вы узнаете, как отслеживать вызовы API MistralAI с помощью W&B Weave, как оценивать производительность ваших моделей и как сократить разрыв, используя возможности finetuning MistralAI.
В этих notebook'ах мы будем fine-tune модель Mistral 7B в качестве LLM-судьи. Эта идея взята из замечательной статьи в блоге Юджина. Основная цель — fine-tune небольшую модель, такую как Mistral 7B, чтобы она выступала в роли судьи галлюцинаций. Мы сделаем это в 2 этапа:
- Обучение на сложном наборе данных Factual Inconsistency Benchmark для улучшения производительности модели в обнаружении галлюцинаций путём выявления несоответствий между фрагментом текста и «резюме»
- Затем мы смешаем этот набор данных с набором данных резюме из Википедии, чтобы ещё больше повысить производительность.
- Weights & Biases: https://wandb.ai/
- Документация по finetuning Mistral: https://docs.mistral.ai/capabilities/finetuning/
- Трассировка с помощью W&B Weave: https://wandb.me/weave
импортируем необходимые компоненты
некоторые глобальные переменные
Мы будем отображать значения в 0 и 1 ради простоты!
Вы, вероятно, интегрируете вызовы API MistralAI в свою кодовую базу, создав функцию, подобную приведённой ниже:
Давайте создадим prompt, который объясняет задачу...
Давайте оценим модель на валидационной выборке набора данных
Попробуем добавить пример из блога Юджина:
Это сложный набор данных!
Эта модель значительно лучше! Точность более 80% — это отличный результат для такой сложной задачи 😎
Посмотрим, улучшит ли это fine-tuning.
Вам потребуется немного иначе форматировать ваши prompt'ы для FT
- вместо ChatMessage используйте dict
- Добавьте output
Вы могли бы использовать другие продвинутые наборы данных или pandas, но это небольшой набор данных, поэтому давайте не будем усложнять...
Итак, теперь давайте создадим задание fine-tune с помощью Mistral API. Несколько вещей, которые нужно знать:
- У вас есть только 2 параметра для работы: training_steps и learning_rate
- Вы можете использовать dry_run=True, чтобы получить оценку стоимости
- training_steps не связаны напрямую с эпохами; в документации есть эмпирическое правило.
Мы хотим выполнить 10 эпох…
План урока
- Загрузка данных
- Оценка
- 7B
- Немного доработаем prompt...
- Large
- Fine-Tune для победы
- Загрузка набора данных
- Создание задания fine-tuning
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.