Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 14 · Текст · ~5 мин

Настраиваем Llama Guard 3 под свои правила

Урок 14 из 17 курса «Llama: начало работы»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Llama Guard 3 — это предварительно обученная модель Llama-3.1-8B, доработанная (fine-tuned) для классификации безопасности контента. Llama Guard 3 развивает возможности, представленные в Llama Guard 2, добавляя три новые категории: диффамация (Defamation), выборы (Elections) и злоупотребление интерпретатором кода (Code Interpreter Abuse). Новая модель поддерживает в общей сложности 14 категорий.

Эта модель является многоязычной (см. карточку модели) и дополнительно представляет новый формат prompt'ов, который делает формат prompt'ов Llama Guard 3 совместимым с моделями Llama 3+ Instruct.

Иногда этих 14 категорий недостаточно, и возникает необходимость в настройке существующих или создании новых политик. Этот notebook содержит инструкции по настройке Llama Guard 3 с использованием следующих методов:

  1. Добавление/удаление категорий — используется для разрешения или запрета определенных категорий.
  2. Zero-shot learning — используется, когда существующая категория безопасности близка к требованиям и необходимы незначительные изменения.
  3. Fine-tuning — используется, когда вышеуказанные методы недостаточны для внесения необходимых изменений.

Llama Guard поставляется с эталонной таксономией, описанной на этой странице, где также объясняется формат prompting'а.

Приведенные ниже функции объединяют уже существующий код форматирования prompt'ов в llama-recipes с пользовательским кодом для облегчения настройки таксономии.

Код в ячейке ниже настраивает вспомогательные функции для быстрой настройки категорий:

Чтобы протестировать поведение различных комбинаций категорий, мы загружаем модель (в данном случае Llama Guard 3) и настраиваем вспомогательную функцию для вывода ключевых данных во время тестирования. В целях демонстрации все тесты будут выполняться с типом ввода, установленным на «user». В реальных приложениях Llama Guard также будет использоваться для оценки выходных данных модели. Для этого тип ввода должен быть установлен на «agent».

Убедитесь, что модель работает должным образом, запустив несколько тестов, первый из которых должен вернуть безопасный результат, а остальные — небезопасный с указанием соответствующих категорий:

Категории могут быть удалены, чтобы сделать Llama Guard более толерантным (т.е. возвращать безопасный вердикт для входных данных, которые были бы определены как «небезопасные» при использовании полной таксономии).

Стоит отметить, что в некоторых случаях модель все…

План урока

  1. Введение в таксономию
  2. Настройка списка категорий
  3. Настройка модели для тестирования примеров
  4. Удаление категорий
  5. Обработка набора данных
  6. Оценка
  7. Пример Fine-tuning'а

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды