【第五周】如何使用py下载huggingface上的数据集

首先你需要创建一个huggingface账号然后按照红框操作得到KEY创建得到API-KEY之后在你的项目运行环境终端下输入hf auth login回车然后再输入你的API-KEY就好了会显示你登录成功然后你需要的数据集的格式写py脚本就可以下载huggingface上的数据集了。例如from datasets import load_dataset dataset load_dataset(username/my_dataset) # or load the separate splits if the dataset has train/validation/test splits train_dataset load_dataset(username/my_dataset, splittrain) valid_dataset load_dataset(username/my_dataset, splitvalidation) test_dataset load_dataset(username/my_dataset, splittest)