Классификация текста на эмбеддингах

О чём урок

Этот ноутбук показывает, как создавать классификаторы с использованием эмбеддингов Cohere. Примером задачи классификации здесь будет анализ настроений рецензий на фильмы. Мы обучим простой классификатор для определения, является ли рецензия на фильм отрицательной (класс 0) или положительной (класс 1). Мы выполним следующие шаги: Получить набор данных Получить эмбеддинги рецензий (как для обучающего, так и для тестового набора). Обучить классификатор, используя обучающий набор Оценить производительность классификатора на тестовом наборе Если вы используете старую версию SDK, вам потребуется обновить ее следующим образом: В этом примере мы будем использовать только подмножество обучающих и тестовых наборов данных. Мы используем всего 500 примеров, так как это демонстрационный пример. Для лучшей производительности и оценки вам потребуется увеличить это число. Метод train_test_split разделяет массивы или матрицы на случайные обучающие и тестовые подмножества. Теперь мы готовы получить эмбеддинги из API. Вам понадобится ваш API ключ для следующей ячейки. Зарегистрируйтесь в Cohere и получите его, если вы еще этого не сделали. Обратите внимание, что порядок аргументов важен. Если вы поместите input_type перед model_name, вы получите ошибку. Теперь у нас есть два набора эмбеддингов: embeddings_train содержит эмбеддинги обучающих предложений, а embeddings_test содержит эмбеддинги тестовых предложений. Интересно, как выглядит эмбеддинг? Мы можем его распечатать: Теперь, когда у нас есть эмбеддинги, мы можем обучить наш классификатор. Мы будем использовать SVM из sklearn. При запуске этого кода вы можете получить немного другое число. Это был небольшой пример, предназначенный для демонстрации концепции и показывающий, как можно быстро создать собственный классификатор, используя небольшое количество размеченных данных и эмбеддинги Cohere. Увеличьте количество обучающих примеров для достижения лучшей производительности в этой задаче.

План урока

1. 1. Получение набора данных
2. 2. Настройка клиента Cohere и получение эмбеддингов рецензий
3. 3. Обучение классификатора с использованием обучающего набора
4. 4. Оценка производительности классификатора на тестовом наборе