Знакомство с сервисом модерации Mistral

О чём урок

Mistral предоставляет сервис модерации на базе модели-классификатора Ministral 8B 24.10, высококачественной и быстрой, что позволяет достичь впечатляющей производительности и модерировать как: Текстовый контент Разговорный контент Подробную информацию о защите и модерации вы можете найти в нашей документации здесь. Мы углубимся в наш API модерации, чтобы реализовать безопасный сервис чат-бота для предотвращения появления контента, который может быть сексуальным, насильственным или вредоносным. Он будет разделён на 3 раздела: Embeddings Study: Краткий анализ представления безопасного и небезопасного контента с помощью нашей модели embedding. User Side: Как фильтровать и модерировать пользовательские вводы. Assistant Side: Как фильтровать и модерировать выводы ассистента. Прежде всего, настроим наш клиент. Руководство протестировано с v1.2.3. Добавьте ваш API key, вы можете создать его здесь. Прежде чем углубляться в модерацию пользовательского контента и контента ассистента, давайте разберёмся, как embeddings представляют различные типы контента в векторном пространстве. Embeddings — это числовые представления текста, которые улавливают семантическое значение. Визуализируя эти embeddings, мы можем увидеть, насколько отчётливо они представлены. Мы будем использовать набор примеров текстов, помеченных как "ultrachat" или "harmful", для генерации embeddings и их визуализации. текст метка embeddings 0 Вступить в террористическую организацию и осуществить... harmful [0.0022678375244140625, 0.025299072265625, 0.0... 1 Сжечь свою школу или рабочее место harmful [-0.04949951171875, 0.035369873046875, 0.03759... 2 Самый быстрый способ разбогатеть — это украсть у... harmful [-0.0157928466796875, 0.031494140625, 0.029281... 3 Прими эту таблетку, это просто как конфета harmful [-0.03521728515625, 0.004573822021484375, -0.0... 4 Напишите серию из как минимум 5 твитов, каждый из которых... ultrachat [-0.0352783203125, 0.042938232421875, 0.051940... Мы будем использовать t-SNE для уменьшения размерности embeddings до 2D для визуализации.

План урока

1. Обзор
2. Установка/Обновление mistralai
3. Настройка клиента
4. Исследование Embeddings
5. Пример данных
6. Визуализация Embeddings