О чём урок
В этом руководстве мы углубимся в процесс генерации данных для тонкой настройки модели, предназначенной для переписывания статей в определённом, улучшенном формате. Для этого мы будем использовать двухэтапный конвейер. Сначала мы сгенерируем критические замечания к статьям, используя руководства, которые наша модель должна соблюдать и использовать в качестве эталона. Затем, используя эти критические замечания, мы создадим новые, улучшенные статьи. Цель состоит в том, чтобы создать набор данных, который включает как минимум исходную статью и её улучшенную версию, что потенциально может быть использовано для тонкой настройки модели в будущем или для других целей.
Вы можете скачать руководства для этого блокнота следующим образом:
Первый шаг — установить mistralai и создать клиент с вашим API-ключом!
Следующий шаг — загрузить набор данных. Мы будем использовать набор данных, доступный на Hugging Face, но вы можете предоставить свой собственный!
В этом примере мы сгенерируем 100 пар оригинальных и улучшенных статей, но вы можете сгенерировать столько, сколько вам потребуется.
Наш конвейер будет состоять из двух этапов. Сначала мы сгенерируем критические замечания, используя выбранное нами руководство по стилю. Здесь у нас есть четыре различных руководства, которые более или менее одинаковы, но вы можете переписать свои собственные.
После того как критические замечания будут сгенерированы, мы используем их для создания новых переписанных статей!
Давайте начнём с критики!
Давайте создадим папку, где мы будем кэшировать наши данные по мере их генерации. Это может быть удобно для отладки и для создания резервной копии на случай, если что-то пойдёт не так.
Теперь давайте определим первый процесс. Мы будем использовать возможности mistral-medium-latest для критики и переписывания наших статей, но вы можете использовать любую комбинацию по вашему выбору.
Чтобы каждый раз получать разнообразный вывод, может быть хорошей идеей иметь несколько системных подсказок вместо одной. Здесь мы предоставляем несколько системных подсказок, которые все очень похожи, но в целом отличаются.
Теперь пришло время генерировать. Давайте возьмём созданные нами руководства и начнём…
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.