Passare argomenti con nome
In questo esercizio imparerai a passare argomenti con nome alle funzioni del modello quando sono usate all'interno di una pipeline.
Per farlo userai il modello MusicGen small di Meta, in grado di generare clip musicali a partire da descrizioni testuali o prompt audio.
Il modulo pipeline è stato caricato e la libreria soundfile è disponibile come sf.
Questo esercizio fa parte del corso
Modelli multi-modali con Hugging Face
Istruzioni dell'esercizio
- Carica una pipeline
text-to-audiousando il modellofacebook/musicgen-smallnel framework PyTorch. - Crea un dizionario chiamato
generate_kwargsper impostare la temperatura di generazione a0.8emax_new_tokensa1. - Genera un array audio usando il prompt
"Classic rock riff", regolando i parametri di generazione con il tuo dizionariogenerate_kwargs.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Load a text-to-audio pipeline
musicgen = pipeline(task="____", model="____", framework="pt")
# Make a dictionary to set the generation temperature to 0.8 and max_new_tokens to 1
generate_kwargs = {"____": ____, "____": ____}
# Generate an audio array passing the arguments
outputs = ____("____", ____=____)
sf.write("output.wav", outputs["audio"][0][0], outputs["sampling_rate"])