Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 243 · Текст · ~5 мин

Визуализация эмбеддингов в Kangas

Урок 243 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

В этом Jupyter Notebook мы создадим Kangas DataGrid, содержащий данные и проекции embedding'ов в 2 измерения.

Kangas — это инструмент с открытым исходным кодом, работающий с различными типами медиа, похожий на dataframe, предназначенный для специалистов по данным. Он был разработан компанией Comet, целью которой является упрощение процесса внедрения моделей в production.

Для начала мы установим kangas с помощью pip и импортируем его.

Мы создаем Kangas DataGrid с исходными данными и embedding'ами. Данные состоят из строк отзывов, а embedding'и — из 1536 значений с плавающей точкой. В этом примере мы получаем данные непосредственно из GitHub, на случай, если вы не запускаете этот notebook внутри репозитория OpenAI.

Мы используем Kangas для чтения CSV-файла в DataGrid для дальнейшей обработки.

Мы можем просмотреть поля CSV-файла:

И получить представление о первых и последних строках:

Теперь мы создадим новый DataGrid, преобразуя числа в Embedding:

Новый DataGrid теперь имеет столбец Embedding с правильным типом данных.

Мы просто сохраняем datagrid, и на этом всё.

Чтобы отобразить данные непосредственно в notebook, просто покажите их. Обратите внимание, что каждая строка содержит проекцию embedding'а.

Прокрутите вправо, чтобы увидеть проекцию embedding'ов для каждой строки.

Цвет точки в пространстве проекции представляет собой Score.

Сгруппируйте по "Score", чтобы увидеть строки каждой группы.

Пример этого datagrid размещен здесь: https://kangas.comet.com/?datagrid=/data/openai_embeddings.datagrid

План урока

  1. Визуализация embedding'ов в Kangas
  2. Что такое Kangas?
  3. 1. Настройка
  4. 2. Создание Kangas DataGrid
  5. 3. Отображение 2D-проекций

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды