Дообучаем LLM-судью ловить галлюцинации с W&B

О чём урок

В этих notebook'ах вы узнаете, как отслеживать вызовы API MistralAI с помощью W&B Weave, как оценивать производительность ваших моделей и как сократить разрыв, используя возможности finetuning MistralAI. В этих notebook'ах мы будем fine-tune модель Mistral 7B в качестве LLM-судьи. Эта идея взята из замечательной статьи в блоге Юджина. Основная цель — fine-tune небольшую модель, такую как Mistral 7B, чтобы она выступала в роли судьи галлюцинаций. Мы сделаем это в 2 этапа: Обучение на сложном наборе данных Factual Inconsistency Benchmark для улучшения производительности модели в обнаружении галлюцинаций путём выявления несоответствий между фрагментом текста и «резюме» Затем мы смешаем этот набор данных с набором данных резюме из Википедии, чтобы ещё больше повысить производительность. Weights & Biases: https://wandb.ai/ Документация по finetuning Mistral: https://docs.mistral.ai/capabilities/finetuning/ Трассировка с помощью W&B Weave: https://wandb.me/weave импортируем необходимые компоненты некоторые глобальные переменные Мы будем отображать значения в 0 и 1 ради простоты! Вы, вероятно, интегрируете вызовы API MistralAI в свою кодовую базу, создав функцию, подобную приведённой ниже: Давайте создадим prompt, который объясняет задачу... Давайте оценим модель на валидационной выборке набора данных Попробуем добавить пример из блога Юджина: Это сложный набор данных! Эта модель значительно лучше! Точность более 80% — это отличный результат для такой сложной задачи 😎 Посмотрим, улучшит ли это fine-tuning. Вам потребуется немного иначе форматировать ваши prompt'ы для FT вместо ChatMessage используйте dict Добавьте output Вы могли бы использовать другие продвинутые наборы данных или pandas, но это небольшой набор данных, поэтому давайте не будем усложнять... Итак, теперь давайте создадим задание fine-tune с помощью Mistral API. Несколько вещей, которые нужно знать: У вас есть только 2 параметра для работы: training_steps и learning_rate Вы можете использовать dry_run=True, чтобы получить оценку стоимости training_steps не связаны напрямую с эпохами; в документации есть эмпирическое правило.

План урока

1. Загрузка данных
2. Оценка
3. 7B
4. Немного доработаем prompt...
5. Large
6. Fine-Tune для победы
7. Загрузка набора данных
8. Создание задания fine-tuning