Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 04 · Текст · ~5 мин

Чистим разметку и собираем векторную базу

Урок 4 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Это notebook 2 в серии семинаров/курсов. Как и большинство читателей, вы можете пропустить краткий обзор, но вот он, тем не менее, — что было сделано:

  • Мы использовали набор данных из 5000 изображений с некоторыми метаданными
  • Очистили поврежденные изображения
  • Предварительно обработали категории для снижения сложности
  • Сбалансировали категории с помощью случайной выборки
  • Итерировали и использовали prompt для 11B для разметки изображений
  • Создали скрипт для разметки изображений

Следующие шаги:

  • Очистка аннотаций, полученных на предыдущем шаге
  • Повторная балансировка категорий: поскольку модель все еще галлюцинирует некоторые новые категории
  • Финальный раунд EDA перед переходом к созданию RAG pipeline в Notebook 3

Надеемся, вы помните prompt из предыдущего notebook. Независимо от prompt engineering, у нас все еще есть несколько проблем, с которыми нужно разобраться:

  • Модель галлюцинирует категории
  • Нам нужно удалить escape-символы для обработки JSON-форматирования. Как и у большинства людей, у автора отношения любви-ненависти с regex, но для этой задачи он работает довольно хорошо. Другой подход, который работает, — использование модели Llama-3.2-3B-Instruct для очистки. Это удобно оставлено в качестве упражнения для читателя
  • Отказы: Иногда модель отказывается размечать изображения — нам нужно удалить эти примеры

Это проблемы, связанные с навыками prompt engineering, которые вы можете улучшить, вернувшись к notebook 1, а пока давайте продолжим:

Список CSV-файлов, полученных в результате запуска на нескольких GPU:

Привет, Regex, наш старый мрачный друг! Мы очистим escape-символы и преобразуем описания в dataframe.

Не спрашивайте, как мы получили это regex-выражение — только 405B Llama, которая дала его нам, знает причину.

Проверим разницу после очистки:

5756 rows × 8 columns

Давайте отбросим примеры с NaN и удалим столбец size. Мы были довольно амбициозны, добавляя фильтр по размеру, когда начинали строить пример RAG. Теперь это еще одно задание для читателя, от которого мы отказываемся:

Модель все еще галлюцинирует и отклоняется от курса с некоторыми категориями, давайте исправим это, переназначив их:

Мы также можем переназначить категории следующим образом:

План урока

  1. Очистка аннотаций и создание Vector DB
  2. Очистка аннотаций
  3. Очистка подписей

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды