О чём урок
Это notebook 2 в серии семинаров/курсов. Как и большинство читателей, вы можете пропустить краткий обзор, но вот он, тем не менее, — что было сделано:
- Мы использовали набор данных из 5000 изображений с некоторыми метаданными
- Очистили поврежденные изображения
- Предварительно обработали категории для снижения сложности
- Сбалансировали категории с помощью случайной выборки
- Итерировали и использовали prompt для 11B для разметки изображений
- Создали скрипт для разметки изображений
Следующие шаги:
- Очистка аннотаций, полученных на предыдущем шаге
- Повторная балансировка категорий: поскольку модель все еще галлюцинирует некоторые новые категории
- Финальный раунд EDA перед переходом к созданию RAG pipeline в Notebook 3
Надеемся, вы помните prompt из предыдущего notebook. Независимо от prompt engineering, у нас все еще есть несколько проблем, с которыми нужно разобраться:
- Модель галлюцинирует категории
- Нам нужно удалить escape-символы для обработки JSON-форматирования. Как и у большинства людей, у автора отношения любви-ненависти с regex, но для этой задачи он работает довольно хорошо. Другой подход, который работает, — использование модели Llama-3.2-3B-Instruct для очистки. Это удобно оставлено в качестве упражнения для читателя
- Отказы: Иногда модель отказывается размечать изображения — нам нужно удалить эти примеры
Это проблемы, связанные с навыками prompt engineering, которые вы можете улучшить, вернувшись к notebook 1, а пока давайте продолжим:
Список CSV-файлов, полученных в результате запуска на нескольких GPU:
Привет, Regex, наш старый мрачный друг! Мы очистим escape-символы и преобразуем описания в dataframe.
Не спрашивайте, как мы получили это regex-выражение — только 405B Llama, которая дала его нам, знает причину.
Проверим разницу после очистки:
5756 rows × 8 columns
Давайте отбросим примеры с NaN и удалим столбец size. Мы были довольно амбициозны, добавляя фильтр по размеру, когда начинали строить пример RAG. Теперь это еще одно задание для читателя, от которого мы отказываемся:
Модель все еще галлюцинирует и отклоняется от курса с некоторыми категориями, давайте исправим это, переназначив их:
Мы также можем переназначить категории следующим образом:
План урока
- Очистка аннотаций и создание Vector DB
- Очистка аннотаций
- Очистка подписей
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.