О чём урок
Этот notebook демонстрирует, как использовать Pixeltable для итеративного prompt engineering и сравнения моделей с моделями Mistral AI. Он демонстрирует постоянное хранение данных, инкрементальные обновления и простой способ бенчмаркинга различных prompt'ов и моделей.
Pixeltable — это инфраструктура данных, которая предоставляет декларативный, инкрементальный подход для мультимодального AI.
Категория: Prompt Engineering & Сравнение моделей
Во-первых, Pixeltable является персистентным. В отличие от резидентных библиотек Python, таких как Pandas, Pixeltable — это база данных. При перезапуске ядра notebook или начале новой сессии Python у вас будет доступ ко всем данным, которые вы ранее сохранили в Pixeltable.
Мы создаем вычисляемые столбцы, чтобы указать Pixeltable запустить функцию Mistral chat_completions и сохранить результат. Поскольку вычисляемые столбцы являются постоянной частью таблицы, они будут автоматически обновляться при каждом добавлении новых данных в таблицу. Для получения дополнительной информации см. наш учебник.
В этом конкретном примере мы запускаем модели open_mistral_nemo и mistral_medium и делаем вывод доступным в соответствующих столбцах.
Соответствующие столбцы ответов имеют тип столбца JSON, и теперь мы можем использовать выражения JSON path для извлечения соответствующих фрагментов данных и их предоставления в качестве дополнительных вычисляемых столбцов.
Мы видим, как данные вычисляются по различным столбцам в нашей таблице.
UDF позволяют расширять Pixeltable с помощью пользовательского кода Python, что позволяет интегрировать любые вычисления или анализ в ваш рабочий процесс. См. наш учебник по UDF, чтобы узнать больше.
Мы определяем три UDF для вычисления двух метрик (оценки тональности и читабельности), которые дают нам представление о качестве выходных данных LLM.
Для каждой модели, которую мы хотим сравнить, мы добавляем метрики в качестве новых вычисляемых столбцов, используя созданные нами UDF.
После того как UDF определена и используется в вычисляемом столбце, Pixeltable автоматически применяет ее ко всем соответствующим строкам.
Вам не нужно писать циклы или беспокоиться о ручном применении функции к каждой строке.
Мы вставляем еще две строки, и Pixeltable автоматически заполнит вычисляемые столбцы.
Часто требуется…
План урока
- 1. Настройка и установка
- 2. Создание таблицы Pixeltable и вставка примеров
- 3. Запуск функций вывода Mistral
- 4. Использование пользовательских функций (UDF) для дальнейшего анализа
- 5. Эксперименты с различными Prompt'ами
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.