Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 11 · Текст · ~5 мин

Подгоняем эмбеддинги под свою задачу

Урок 11 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует один из способов настройки OpenAI embeddings для конкретной задачи.

Входными данными являются обучающие данные в формате [text_1, text_2, label], где label равен +1, если пары схожи, и -1, если пары несхожи.

Выходными данными является матрица, которую можно использовать для умножения ваших embeddings. Результатом этого умножения является 'custom embedding', который будет лучше выделять аспекты текста, релевантные вашему сценарию использования. В сценариях бинарной классификации мы наблюдали снижение частоты ошибок до 50%.

В следующем примере я использую 1000 пар предложений, взятых из корпуса SNLI. Каждая пара предложений логически вытекает одно из другого (т.е. одно подразумевает другое). Эти пары являются нашими положительными примерами (label = 1). Мы генерируем синтетические отрицательные примеры, комбинируя предложения из разных пар, которые, как предполагается, логически не вытекают друг из друга (label = -1).

Для сценария использования кластеризации вы можете генерировать положительные примеры, создавая пары из текстов в одних и тех же кластерах, и генерировать отрицательные примеры, создавая пары из предложений в разных кластерах.

С другими наборами данных мы наблюдали заметное улучшение даже при наличии всего ~100 обучающих примеров. Конечно, производительность будет выше при большем количестве примеров.

Большинство входных данных находятся здесь. Ключевые моменты, которые необходимо изменить, это: откуда загружать ваш dataset, куда сохранять кэш embeddings и какой embedding engine вы хотите использовать.

В зависимости от формата ваших данных, вам потребуется переписать функцию process_input_data.

Обратите внимание, что важно разделять данные на обучающие и тестовые наборы до генерации синтетических отрицательных или положительных примеров. Вы не хотите, чтобы какие-либо текстовые строки из обучающих данных появлялись в тестовых данных. Если произойдет загрязнение, метрики тестирования будут выглядеть лучше, чем они будут на самом деле в production.

Это еще одна часть кода, которую вам потребуется изменить в соответствии с вашим сценарием использования.

Если у вас есть данные с положительными и отрицательными примерами, вы можете пропустить этот раздел.

Если у…

План урока

  1. 1. Входные данные
  2. 2. Загрузка и обработка входных данных
  3. 3. Разделение данных на обучающие и тестовые наборы
  4. 4. Генерация синтетических отрицательных примеров
  5. 5. Вычисление embeddings и косинусных схожестей
  6. 6. Построение распределения косинусной схожести
  7. 7. Оптимизация матрицы с использованием предоставленных обучающих данных
  8. 8. Построение графиков до и после, демонстрирующих результаты лучшей матрицы, найденной во время обучения

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды