Режем и чистим данные в Datasets

О чём урок

В большинстве случаев данные, с которыми вы будете работать, не будут идеально подготовлены для обучения моделей. В этом разделе мы исследуем различные функции библиотеки 🤗 Datasets для подготовки данных. Как и в Pandas, 🤗 Datasets предоставляет несколько функция для управления содержимым объектов Dataset и DatasetDict. Мы уже познакомились с методом Dataset.map() в главе 3, а далее мы посмотрим на другие функции, имеющиеся в нашем распоряжении. Для этого примера мы будем использовать датасет Drug Review Dataset, расположенный на сервере UC Irvine Machine Learning Repository и содержащий отзывы пациентов на различные лекарства, сведения о состоянии пациентов и рейтинг удовлетворенности, выраженный в 10-балльной шкале. Для начала необходимо скачать и разархивировать датасет, мы используем для этого команды wget и unzip: Файл TSV - это просто разновидность CSV файла, содержащий табуляции вместо запятых в качестве разделителя, а значит мы можем его загрузить с помощью скрипта csv и аргумента delimiter через функцию load_dataset(): Хорошей практикой при исследовании данных является взятие небольшого случайного подмножества для понимания типов данных и их особенностей. В библиотеке 🤗 Datasets мы можем сделать случайную выборку путем последовательного вызова функций Dataset.shuffle() и Dataset.select(): Заметьте, что мы зафикисировали переменную seed для воспроизводимости результатов. Dataset.select() ожидает на вход итерируемый объект, содержащий индексы, поэтому мы передали range(1000) для взятия первых 1000 объектов перемешанного датасета. Для этой подвыборки мы можем сразу увидеть некоторые особенности в данных: Колонка Unnamed: 0 выглядит как обезличенный ID для каждого пациента. Колонка condition включает в себя смесь лейблов в нижнем и верхнем регистре. Отзывы переменной длины и содержат смесь разделителей текста (\r\n) и HTML-кодов (например, &\#039;). Давайте посмотрим, как мы можем использовать 🤗 Datasets для обработки этих особенностей.

План урока

1. Управление данными
2. Создание валидационной выборки
3. Сохранение датасетов