О чём урок
Вы знаете, как использовать Hugging Face Hub для скачивания датасетов, но часто складывается ситуация, когда нужные данные не хранятся у вас локально или на удаленном сервере. В этом разделе мы посмотрим, как библиотека 🤗 Datasets может быть использована для загрузки датасетов, которые не хранятся на Hugging Face Hub.
🤗 Datasets предоставляет скрипты для загрузки собственных датасетов. Библиотека поддерживает несколько распространенных форматов:
Как показано в таблице, для каждого формата мы должны задать тип скрипта загрузки в функции load_dataset() вместе с аргументом data_files, который указывает путь к одному или нескольким файлам. Начнем с загрузки набора данных из локальных файлов; позже мы увидим, как сделать то же самое с файлами, расположены на удаленном сервере.
Для этого примера мы будем использовать датасет SQuAD-it dataset. Это большой датасет для задачи question answering на итальянском языке.
Обучающая и тестовая часть расположены на GitHub, мы можем скачать файлы с помощью простой команды wget.
Выполнение этих команд запустит процесс скачивания файлов SQuAD_it-train.json.gz и SQuAD_it-test.json.gz, которые мы можем распаковать с помощью Linux команды gzip:
После выполнения команд мы увидим, что архивы будут заменены файлами SQuAD_it-train.json и SQuAD_it-text.json в формате JSON.
[!TIP] ✎ Причина, по которой в примере выше перед командами расположен ! заключается в том, что мы выполняем их в Jupyter notebook. Если вы хотите запустить эти команды в терминале – просто удалите !.
Для загрузки JSON файла с помощью функции load_dataset() необходимо знать, с каким типом JSON-файла мы имеем дело: обычный JSON (похожий на вложенный словарь) или JSON, сформированный построчно. Как и многие датасеты для задач question-answering, SQuAD-it использует формат обычного JSON'а с текстом, хранящимся в поле data. Это означает, что мы можем подгрузить датасет, задав аргумент field следующим образом:
По умолчанию при загрузке локальных файлов создается объект DatasetDict с меткой train. Мы можем изучить объект squad_it_dataset:
Выше распечатана…
План урока
- Работа с локальными и удаленными датасетами
- Загрузка локального датасета
- Загрузка файлов с удаленного сервера
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.