О чём урок
В этом Jupyter Notebook мы создадим Kangas DataGrid, содержащий данные и проекции embedding'ов в 2 измерения.
Kangas — это инструмент с открытым исходным кодом, работающий с различными типами медиа, похожий на dataframe, предназначенный для специалистов по данным. Он был разработан компанией Comet, целью которой является упрощение процесса внедрения моделей в production.
Для начала мы установим kangas с помощью pip и импортируем его.
Мы создаем Kangas DataGrid с исходными данными и embedding'ами. Данные состоят из строк отзывов, а embedding'и — из 1536 значений с плавающей точкой. В этом примере мы получаем данные непосредственно из GitHub, на случай, если вы не запускаете этот notebook внутри репозитория OpenAI.
Мы используем Kangas для чтения CSV-файла в DataGrid для дальнейшей обработки.
Мы можем просмотреть поля CSV-файла:
И получить представление о первых и последних строках:
Теперь мы создадим новый DataGrid, преобразуя числа в Embedding:
Новый DataGrid теперь имеет столбец Embedding с правильным типом данных.
Мы просто сохраняем datagrid, и на этом всё.
Чтобы отобразить данные непосредственно в notebook, просто покажите их. Обратите внимание, что каждая строка содержит проекцию embedding'а.
Прокрутите вправо, чтобы увидеть проекцию embedding'ов для каждой строки.
Цвет точки в пространстве проекции представляет собой Score.
Сгруппируйте по "Score", чтобы увидеть строки каждой группы.
Пример этого datagrid размещен здесь: https://kangas.comet.com/?datagrid=/data/openai_embeddings.datagrid
План урока
- Визуализация embedding'ов в Kangas
- Что такое Kangas?
- 1. Настройка
- 2. Создание Kangas DataGrid
- 3. Отображение 2D-проекций
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.