Carregando conjuntos de dados
Hugging Face criou o pacote datasets para interagir com conjuntos de dados, fornecendo muitas funções convenientes, inclusive load_dataset_builder(), que você acabou de usar. Depois de inspecionar um conjunto de dados para garantir que ele seja adequado ao seu projeto, é hora de carregá-lo!
Para isso, podemos usar os parâmetros de entrada do site load_dataset() para especificar quais partes do conjunto de dados devem ser carregadas. Nesse caso, você carregará a divisão "test" do conjunto de dados "TIGER-Lab/MMLU-Pro", um conjunto de dados de avaliação de benchmark que inspecionamos no exercício anterior.
O módulo load_dataset do pacote datasets já está carregado para você.
Este exercício faz parte do curso
Trabalhando com o Hugging Face
Instruções do exercício
- Use a função correta para carregar o conjunto de dados "TIGER-Lab/MMLU-Pro" e especifique a divisão "teste".
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Load the "test" split of the TIGER-Lab/MMLU-Pro dataset
my_dataset = ____("____", split="____")
# Display dataset details
print(my_dataset)