Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 60 · Текст · ~5 мин

Модерация по своим правилам с Shieldstral

Урок 60 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Shieldstral — это 3B мультимодальный классификатор безопасности с открытыми весами от Mistral, который оценивает контент на соответствие политикам, выраженным на естественном языке, и возвращает непрерывный показатель безопасности.

Shieldstral развертывается только на собственном хостинге — конечная точка API Mistral недоступна. В этом руководстве модель запускается локально с помощью Transformers или vLLM.

Политики на естественном языке предоставляются во время инференса — без фиксированных категорий и без переобучения. Модель отвечает на вопрос «да/нет» о том, нарушает ли контент вашу политику, а логиты output дают непрерывный показатель безопасности.

В этом руководстве рассматриваются два способа запуска Shieldstral:

  1. Transformers — загрузка модели локально (совместимо с Colab при наличии GPU T4)
  2. vLLM — развертывание OpenAI-совместимого сервера для производственного использования

Для выполнения этого руководства вам понадобятся:

  • Python 3.9 или новее
  • GPU (NVIDIA с не менее чем 8 ГБ VRAM, или используйте Colab с runtime T4 или A100)
  • Аккаунт HuggingFace с доступом к mistralai/Shieldstral-1.0-3B

Установите библиотеку Transformers с поддержкой Mistral:

Shieldstral — это модель для самостоятельного хостинга — ключ API Mistral не требуется. Установите ваш HuggingFace token для загрузки весов модели. Если он не установлен, ячейка ниже предложит вам ввести его.

Shieldstral представляет модерацию как адаптивный к политике механизм вопросов и ответов. Каждый запрос имеет следующую структуру:

  1. Системный prompt (фиксированный): "Оцените, соответствует ли Документ требованиям, основываясь на Запросе и предоставленной Инструкции. Обратите внимание, что ответ может быть только 'да' или 'нет'."
  2. Пользовательское сообщение с тремя полями: <Instruct> — высокоуровневый контекст и уровень строгости
  3. <Query> — единственный вопрос «да/нет» о контенте
  4. <Document> — контент для оценки
  5. Output — единственный token yes или no. Извлеките непрерывный показатель безопасности, применив softmax к логитам yes/no: Показатель выше 0.5 означает, что контент помечен как небезопасный.

Поскольку политика определяется на естественном языке, вы можете модерировать контент по любой категории — токсичность, NSFW, финансовые советы, правила, специфичные для предметной области — без переобучения модели.

В этом разделе модель загружается локально с использованием…

План урока

  1. Предварительные требования
  2. Настройка окружения
  3. Установка
  4. Необходимые переменные окружения
  5. Запуск с использованием Transformers
  6. Загрузка модели
  7. Вспомогательная функция
  8. Создание запроса на модерацию

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды