Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 125 · Текст · ~5 мин

Пошаговая доработка промптов и сравнение моделей в Pixeltable

Урок 125 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует, как использовать Pixeltable для итеративного prompt engineering и сравнения моделей с моделями Mistral AI. Он демонстрирует постоянное хранение данных, инкрементальные обновления и простой способ бенчмаркинга различных prompt'ов и моделей.

Pixeltable — это инфраструктура данных, которая предоставляет декларативный, инкрементальный подход для мультимодального AI.

Категория: Prompt Engineering & Сравнение моделей

Во-первых, Pixeltable является персистентным. В отличие от резидентных библиотек Python, таких как Pandas, Pixeltable — это база данных. При перезапуске ядра notebook или начале новой сессии Python у вас будет доступ ко всем данным, которые вы ранее сохранили в Pixeltable.

Мы создаем вычисляемые столбцы, чтобы указать Pixeltable запустить функцию Mistral chat_completions и сохранить результат. Поскольку вычисляемые столбцы являются постоянной частью таблицы, они будут автоматически обновляться при каждом добавлении новых данных в таблицу. Для получения дополнительной информации см. наш учебник.

В этом конкретном примере мы запускаем модели open_mistral_nemo и mistral_medium и делаем вывод доступным в соответствующих столбцах.

Соответствующие столбцы ответов имеют тип столбца JSON, и теперь мы можем использовать выражения JSON path для извлечения соответствующих фрагментов данных и их предоставления в качестве дополнительных вычисляемых столбцов.

Мы видим, как данные вычисляются по различным столбцам в нашей таблице.

UDF позволяют расширять Pixeltable с помощью пользовательского кода Python, что позволяет интегрировать любые вычисления или анализ в ваш рабочий процесс. См. наш учебник по UDF, чтобы узнать больше.

Мы определяем три UDF для вычисления двух метрик (оценки тональности и читабельности), которые дают нам представление о качестве выходных данных LLM.

Для каждой модели, которую мы хотим сравнить, мы добавляем метрики в качестве новых вычисляемых столбцов, используя созданные нами UDF.

После того как UDF определена и используется в вычисляемом столбце, Pixeltable автоматически применяет ее ко всем соответствующим строкам.

Вам не нужно писать циклы или беспокоиться о ручном применении функции к каждой строке.

Мы вставляем еще две строки, и Pixeltable автоматически заполнит вычисляемые столбцы.

Часто требуется…

План урока

  1. 1. Настройка и установка
  2. 2. Создание таблицы Pixeltable и вставка примеров
  3. 3. Запуск функций вывода Mistral
  4. 4. Использование пользовательских функций (UDF) для дальнейшего анализа
  5. 5. Эксперименты с различными Prompt'ами

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды