Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 127 · Текст · ~5 мин

Датасет математических предпочтений на distilabel

Урок 127 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Авторы: Дэвид Беренштейн и Сара Хан Диас из Argilla

В этом руководстве вы узнаете, как использовать различные модели Mistral для создания синтетического набора данных математических предпочтений с помощью distilabel.

distilabel — это фреймворк AI Feedback (AIF), который может генерировать и размечать наборы данных с использованием LLM и применяться для множества различных сценариев использования. Разработанный с учетом надежности, эффективности и масштабируемости, он позволяет любому создавать свои синтетические наборы данных, которые могут быть использованы во многих различных ситуациях.

С помощью distilabel вы можете построить Pipeline с необходимыми шагами, которые будут соединены как узлы в направленном ациклическом графе (DAG). В этом руководстве мы сгенерируем несколько инструкций, используя подход self-instruct, а затем сгенерируем два возможных ответа с помощью моделей MistralAI. Затем мы используем модель более высокого уровня для оценки ответов (mistral-large). Наконец, мы используем пакет argilla для анализа набора данных и его отправки в HF. Пример набора данных, который мы создадим, можно найти здесь.

Мы выполним следующие шаги:

  • Укажите исходные данные.
  • Определите строительные блоки нашего Pipeline.
  • Запустите пайплайн.
  • (Необязательно) Используйте argilla для аннотирования/анализа набора данных.

Начнем с установки необходимых зависимостей для запуска distilabel. Нам также понадобятся некоторые дополнительные компоненты: интеграция mistralai для генерации наших данных и пакет argilla для анализа набора данных.

Теперь давайте выполним необходимые импорты!

Вам также понадобится API key от MistralAI для использования их моделей. Вы можете получить его, войдя в систему MistralAI и активировав его в разделе API Keys.

Кроме того, если вы хотите визуализировать и аннотировать свои данные с помощью argilla, вам потребуется запустить Hugging Face Space, куда будет отправлен набор данных. Для получения дополнительной информации ознакомьтесь с документацией Argilla. После настройки вам нужно будет указать ARGILLA_API_URL (формируется как https://[your-owner-name]-[your_space_name].hf.space) и ARGILLA_API_KEY (его можно найти в разделе My Settings в Space).

Чтобы убедиться, что они не будут скомпрометированы, вы…

План урока

  1. Начало работы
  2. Указание исходных данных
  3. Определение строительных блоков
  4. Запуск пайплайна
  5. Заключение

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды