Размечаем данные

О чём урок

Пришло время начать работу в пользовательском интерфейсе Argilla для аннотирования нашего датасета. Прежде чем приступить к аннотированию вашего датасета, всегда полезно составить рекомендации, особенно если вы работаете в команде. Это поможет вам согласовать выполнение задачи и использование различных лейблов, а также разрешать возникающие вопросы или конфликты. В Argilla вы можете перейти на страницу настроек вашего датасета в UI и изменить рекомендации и описания ваших вопросов для обеспечения согласованности. Если вы хотите глубже изучить тему составления хороших рекомендаций, мы советуем прочитать эту статью в блоге и упомянутые там библиографические ссылки. На странице настроек датасета вы также можете изменить параметры распределения датасета. Это поможет вам аннотировать более эффективно при работе в команде. Значение по умолчанию для минимального количества отправленных ответов — 1, что означает, что как только запись получит 1 отправленный ответ, она будет считаться завершенной и учитываться в общем прогрессе вашего датасета. Иногда вам может потребоваться более одного отправленного ответа на каждую запись, например, если вы хотите проанализировать согласованность между аннотаторами в вашей задаче. В таком случае убедитесь, что вы изменили этот параметр на большее число, но всегда меньшее или равное общему количеству аннотаторов. Если вы работаете над задачей в одиночку, этот параметр должен быть равен 1. [!TIP] 💡 Если вы развертываете Argilla в Hugging Face Space, любые члены команды смогут войти в систему, используя Hugging Face OAuth. В противном случае вам может потребоваться создать для них пользователей, следуя этому руководству. Когда вы откроете свой датасет, вы заметите, что первый вопрос уже заполнен некоторыми предложенными лейблами. Это потому, что в предыдущем разделе мы сопоставили наш вопрос под названием label со столбцом label_text в датасете, так что нам просто нужно просмотреть и исправить уже существующие лейблы: Для классификации токенов нам потребуется добавить все лейблы вручную, поскольку мы не включили никаких предложений.

План урока

1. Согласуйте работу вашей команды с рекомендациями по аннотированию
2. Распределение задачи
3. Аннотирование записей