Чистим разметку и собираем векторную базу

О чём урок

Это notebook 2 в серии семинаров/курсов. Как и большинство читателей, вы можете пропустить краткий обзор, но вот он, тем не менее, — что было сделано: Мы использовали набор данных из 5000 изображений с некоторыми метаданными Очистили поврежденные изображения Предварительно обработали категории для снижения сложности Сбалансировали категории с помощью случайной выборки Итерировали и использовали prompt для 11B для разметки изображений Создали скрипт для разметки изображений Следующие шаги: Очистка аннотаций, полученных на предыдущем шаге Повторная балансировка категорий: поскольку модель все еще галлюцинирует некоторые новые категории Финальный раунд EDA перед переходом к созданию RAG pipeline в Notebook 3 Надеемся, вы помните prompt из предыдущего notebook. Независимо от prompt engineering, у нас все еще есть несколько проблем, с которыми нужно разобраться: Модель галлюцинирует категории Нам нужно удалить escape-символы для обработки JSON-форматирования. Как и у большинства людей, у автора отношения любви-ненависти с regex, но для этой задачи он работает довольно хорошо. Другой подход, который работает, — использование модели Llama-3.2-3B-Instruct для очистки. Это удобно оставлено в качестве упражнения для читателя Отказы: Иногда модель отказывается размечать изображения — нам нужно удалить эти примеры Это проблемы, связанные с навыками prompt engineering, которые вы можете улучшить, вернувшись к notebook 1, а пока давайте продолжим: Список CSV-файлов, полученных в результате запуска на нескольких GPU: Привет, Regex, наш старый мрачный друг! Мы очистим escape-символы и преобразуем описания в dataframe. Не спрашивайте, как мы получили это regex-выражение — только 405B Llama, которая дала его нам, знает причину. Проверим разницу после очистки: Filename Title Size Category Gender Type Description size 0 d7ed1d64-2c65-427f-9ae4-eb4aaa3e2389.jpg Stylish and Trendy Tank Top with Celestial Design M Tops F Casual This white tank top is a stylish and trendy pi... NaN 1 5c1b7a77-1fa3-4af8-9722-cd38e45d89da.jpg Classic White Sweatshirt M Tops F Casual This classic white sweatshirt is a timeless pi...

План урока

1. Очистка аннотаций и создание Vector DB
2. Очистка аннотаций
3. Очистка подписей