О чём урок
Векторные представления (embeddings) — это векторные представления текста, которые улавливают семантическое значение абзацев через их положение в многомерном векторном пространстве. API Mistral Embeddings предлагает передовые, современные векторные представления для текста, которые могут быть использованы для многих задач NLP. В этом руководстве мы рассмотрим основы API Mistral Embeddings, включая измерение расстояния между текстовыми векторными представлениями, и изучим его основные варианты использования: кластеризацию и классификацию.
Мы рассмотрим следующее: - API Mistral Embeddings: Основы вызова и использования нашего сервиса векторных представлений. - Основы: Начните с получения векторных представлений с помощью нашего SDK. - Меры расстояния: Как вычислить расстояние между векторными представлениями. - Обнаружение перефразирования: Использование сходства на основе расстояния для обнаружения перефразирований. - API Mistral Embeddings с пакетной обработкой: Использование базовой функциональности пакетной обработки, доступной из коробки. - Визуализация векторных представлений t-SNE: Визуализация и понимание того, как векторные представления представляют текст. - Классификация: Узнайте, как использовать векторные представления для задач классификации. - Модели ML-классификации: Используя векторные представления в качестве входных данных, эффективно создавайте ML-модели для классификации. - Кластеризация: Изучите кластеризацию и как ее можно использовать для классификации. - Сравнение решений: Сравните, как, используя векторные представления, вы можете легко создавать системы классификации, более мощные и экономичные, чем современные универсальные модели.
Для генерации текстовых векторных представлений с использованием API векторных представлений Mistral мы можем отправить запрос к конечной точке API и указать модель векторных представлений mistral-embed, а также предоставить список входного текста. Затем API вернет соответствующие векторные представления в виде числовых векторов, которые могут быть использованы для дальнейшего анализа или обработки в приложениях NLP.
Выходные данные — это объект EmbeddingResponse с векторными представлениями и информацией об использовании токенов.
Давайте посмотрим на длину первого векторного представления:
Он возвращает 1024, что означает, что размерность нашего векторного представления составляет 1024. Модель mistral-embed генерирует векторы векторных представлений размерности 1024 для каждой текстовой строки, независимо от длины текста.
В области текстовых векторных представлений тексты со схожим значением или контекстом, как правило, располагаются…
План урока
- Руководство
- API Mistral Embeddings
- Основы
- Меры расстояния
- Обнаружение перефразирования
- Пакетная обработка
- Визуализация векторных представлений t-SNE
- Сравнение с fastText
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.