Генерация данных: улучшаем новостные статьи

О чём урок

В этом руководстве мы подробно рассмотрим процесс генерации данных для fine-tuning'а модели, предназначенной для переписывания статей в определённом, улучшенном формате. Для этого мы будем использовать двухэтапный pipeline. Сначала мы сгенерируем критические замечания к статьям, используя руководства, которым наша модель должна следовать и использовать в качестве эталона. Затем, используя эти критические замечания, мы создадим новые, улучшенные статьи. Цель состоит в том, чтобы создать dataset, который включает как минимум оригинальную статью и её улучшенную версию, что потенциально может быть использовано для fine-tuning'а модели в будущем или для других целей. Вы можете скачать руководства для этого notebook, используя следующее: Первый шаг — установить mistralai и создать клиент с вашим API key! Следующий шаг — загрузить dataset. Мы будем использовать dataset, доступный на Hugging Face, но вы можете предоставить свой собственный! Для этого примера мы сгенерируем 100 пар оригинальных и улучшенных статей, но вы можете сгенерировать столько, сколько вам потребуется. Наш pipeline будет состоять из двух шагов. Сначала мы сгенерируем критические замечания, используя выбранное нами руководство по стилю. Здесь у нас есть четыре различных руководства, которые более или менее похожи, но вы можете переписать свои собственные. После того как критические замечания будут сгенерированы, мы используем их для генерации новых переписанных статей! Приступим к критике! Давайте создадим папку, где мы будем кэшировать наши данные по мере их генерации. Это может быть удобно для отладки и для создания резервной копии на случай, если что-то пойдёт не так. Теперь давайте определим первый процесс. Мы будем использовать возможности mistral-large-latest для критики и переписывания наших статей, но вы можете использовать любую комбинацию по вашему выбору. Чтобы каждый раз генерировать разнообразный output, было бы неплохо иметь несколько system prompt'ов вместо одного. Здесь мы приводим несколько system prompt'ов, которые очень похожи, но в целом отличаются. Теперь пришло время генерировать.