Manipuler des jeux de données
Il est probable que vous deviez souvent manipuler un jeu de données avant de l'utiliser dans une tâche de ML. Deux manipulations courantes sont le filtrage et la sélection (ou la tranche). Vu la taille de ces jeux de données, Hugging Face s'appuie sur des types de fichiers Arrow.
Cela signifie que les manipulations se font un peu différemment de ce à quoi vous êtes peut-être habitué. Heureusement, il existe déjà des méthodes pour vous aider!
Le jeu de données est déjà chargé sous wikipedia.
Cette activité fait partie du cours
Travailler avec Hugging Face
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Filter the documents
____ = wikipedia.____(lambda row: "football" in row["____"])
# Create a sample dataset
example = ____.____(range(1))
print(example[0]["text"])