Визуализация эмбеддингов в Kangas

О чём урок

В этом Jupyter Notebook мы создадим Kangas DataGrid, содержащий данные и проекции embedding'ов в 2 измерения. Kangas — это инструмент с открытым исходным кодом, работающий с различными типами медиа, похожий на dataframe, предназначенный для специалистов по данным. Он был разработан компанией Comet, целью которой является упрощение процесса внедрения моделей в production. Для начала мы установим kangas с помощью pip и импортируем его. Мы создаем Kangas DataGrid с исходными данными и embedding'ами. Данные состоят из строк отзывов, а embedding'и — из 1536 значений с плавающей точкой. В этом примере мы получаем данные непосредственно из GitHub, на случай, если вы не запускаете этот notebook внутри репозитория OpenAI. Мы используем Kangas для чтения CSV-файла в DataGrid для дальнейшей обработки. Мы можем просмотреть поля CSV-файла: И получить представление о первых и последних строках: row-id Column 1 ProductId UserId Score Summary Text combined n_tokens embedding 1 0 B003XPF9BO A3R7JR3FMEBXQB 5 where does one Wanted to save Title: where do 52 [0.007018072064 2 297 B003VXHGPK A21VWSCGW7UUAR 4 Good, but not W Honestly, I hav Title: Good, bu 178 [-0.00314055196 3 296 B008JKTTUA A34XBAIFT02B60 1 Should advertis First, these sh Title: Should a 78 [-0.01757248118 4 295 B000LKTTTW A14MQ40CCU8B13 5 Best tomato sou I have a hard t Title: Best tom 111 [-0.00139322795 5 294 B001D09KAM A34XBAIFT02B60 1 Should advertis First, these sh Title: Should a 78 [-0.01757248118 ...

План урока

1. Визуализация embedding'ов в Kangas
2. Что такое Kangas?
3. 1. Настройка
4. 2. Создание Kangas DataGrid
5. 3. Отображение 2D-проекций