Визуализация эмбеддингов в W&B

О чём урок

Мы загрузим данные в Weights & Biases и используем Embedding Projector для визуализации embedding'ов с помощью распространённых алгоритмов снижения размерности, таких как PCA, UMAP и t-SNE. Набор данных создан в Notebook'е Get_embeddings_from_dataset. Weights & Biases — это платформа машинного обучения, используемая OpenAI и другими командами ML для более быстрого создания улучшенных моделей. Они используют её для быстрого отслеживания экспериментов, оценки производительности моделей, воспроизведения моделей, визуализации результатов и обмена выводами с коллегами. Мы создаём W&B Table с исходными данными и embedding'ами. Каждый отзыв представляет собой новую строку, а 1536 float-значений embedding'а присваивается собственный столбец с именем emb_{i}. Перейдя по ссылке запуска W&B, мы нажимаем на значок ⚙️ в правом верхнем углу Table и меняем "Render As:" на "Combined 2D Projection". Пример: http://wandb.me/openai_embeddings

План урока

1. Визуализация embedding'ов в W&B
2. Что такое Weights & Biases?
3. 1. Загрузка данных в W&B
4. 2. Отображение в виде 2D-проекции