Předzpracování audio datasetů

Vylepšuješ svou aplikaci pro precizní zemědělství – farmáři budou moct ovládat stroje hlasovými příkazy. Systém má rozpoznávat klíčová slova v příkazech jako „Turn on the sprinkler irrigation system."

Využiješ dataset pro detekci klíčových slov, který obsahuje audio nahrávky slov jako „on." Předzpracuj audio soubory tak, aby je bylo možné použít s předtrénovaným modelem Transformer!

Některá data jsou již připravena:

dataset obsahuje ukázkový trénovací dataset audio souborů. Obsahuje již rozdělení train, takže při práci s dataset ho nemusíš zadávat.
AutoFeatureExtractor je naimportován z transformers.
model je nastaven na facebook/wav2vec2-base.
max_duration je definována jako 1 sekunda.

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Načti předtrénovaný feature_extractor pomocí třídy AutoFeatureExtractor.
Nastav sampling_rate pomocí hodnot z feature_extractor.
Nastav max_length pole audio_arrays s využitím max_duration.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Load a pre-trained feature extractor
feature_extractor = ____.____(model)

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        # Set the sampling rate
        sampling_rate=____.____, 
        # Set the max length
        max_length=int(feature_extractor.sampling_rate * max_duration), 
        truncation=True)
    return inputs

encoded_dataset = dataset.map(preprocess_function, remove_columns=["audio", "file"], batched=True)

Upravit a spustit kód