О чём урок
Вы знаете, как использовать Hugging Face Hub для скачивания датасетов, но часто складывается ситуация, когда нужные данные не хранятся у вас локально или на удаленном сервере. В этом разделе мы посмотрим, как библиотека 🤗 Datasets может быть использована для загрузки датасетов, которые не хранятся на Hugging Face Hub. 🤗 Datasets предоставляет скрипты для загрузки собственных датасетов. Библиотека поддерживает несколько распространенных форматов: Data format Loading script Example CSV & TSV csv load_dataset("csv", data_files="my_file.csv") Text files text load_dataset("text", data_files="my_file.txt") JSON & JSON Lines json load_dataset("json", data_files="my_file.jsonl") Pickled DataFrames pandas load_dataset("pandas", data_files="my_dataframe.pkl") Как показано в таблице, для каждого формата мы должны задать тип скрипта загрузки в функции load_dataset() вместе с аргументом data_files, который указывает путь к одному или нескольким файлам. Начнем с загрузки набора данных из локальных файлов; позже мы увидим, как сделать то же самое с файлами, расположены на удаленном сервере. Для этого примера мы будем использовать датасет SQuAD-it dataset. Это большой датасет для задачи question answering на итальянском языке. Обучающая и тестовая часть расположены на GitHub, мы можем скачать файлы с помощью простой команды wget. Выполнение этих команд запустит процесс скачивания файлов SQuAD_it-train.json.gz и SQuAD_it-test.json.gz, которые мы можем распаковать с помощью Linux команды gzip: После выполнения команд мы увидим, что архивы будут заменены файлами SQuAD_it-train.json и SQuAD_it-text.json в формате JSON. [!TIP] ✎ Причина, по которой в примере выше перед командами расположен ! заключается в том, что мы выполняем их в Jupyter notebook. Если вы хотите запустить эти команды в терминале – просто удалите !. Для загрузки JSON файла с помощью функции load_dataset() необходимо знать, с каким типом JSON-файла мы имеем дело: обычный JSON (похожий на вложенный словарь) или JSON, сформированный построчно.
План урока
- Работа с локальными и удаленными датасетами
- Загрузка локального датасета
- Загрузка файлов с удаленного сервера
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.