Prétraiter des jeux de données audio

Vous améliorez votre application d’agriculture de précision en permettant aux producteurs de contrôler leur machinerie par commandes vocales. Le système doit reconnaître des mots-clés dans des commandes comme « Turn on the sprinkler irrigation system. »

Vous utiliserez un jeu de données de repérage de mots-clés avec des extraits audio de termes comme « on ». Prétraitez les fichiers audio pour qu’ils puissent être utilisés avec un modèle Transformer préentraîné !

Certaines données ont déjà été chargées :

dataset contient un échantillon d’entraînement de fichiers audio. Il contient déjà la division train, vous n’avez donc pas besoin de préciser train lorsque vous utilisez dataset.
AutoFeatureExtractor a été importé de transformers.
model est égal à facebook/wav2vec2-base.
max_duration est défini à 1 seconde.

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Chargez un feature_extractor préentraîné avec la classe AutoFeatureExtractor.
Définissez le sampling_rate à partir des taux fournis par le feature_extractor.
Définissez le max_length de audio_arrays en utilisant max_duration.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load a pre-trained feature extractor
feature_extractor = ____.____(model)

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        # Set the sampling rate
        sampling_rate=____.____, 
        # Set the max length
        max_length=int(feature_extractor.sampling_rate * max_duration), 
        truncation=True)
    return inputs

encoded_dataset = dataset.map(preprocess_function, remove_columns=["audio", "file"], batched=True)

Modifier et exécuter le code