Keyword-Argumente übergeben
In dieser Übung lernst du, wie du Keyword-Argumente an Modellfunktionen übergibst, wenn sie innerhalb einer Pipeline verwendet werden.
Dafür nutzt du das kleine MusicGen-Modell von Meta, das in der Lage ist, Musikbeispiele basierend auf Textbeschreibungen oder Audioprompts zu generieren.
Das Modul pipeline wurde geladen und die Bibliothek soundfile ist als sf verfügbar.
Diese Übung ist Teil des Kurses
Multimodale Modelle mit Hugging Face
Anleitung zur Übung
- Lade eine
text-to-audio-Pipeline mit dem Modellfacebook/musicgen-smallim PyTorch-Framework. - Erstelle ein Dictionary namens
generate_kwargs, um die Generierungstemperatur auf0.8undmax_new_tokensauf1zu setzen. - Generiere ein Audio-Array mit dem Prompt
"Classic rock riff"und passe die Generierungsparameter mit deinemgenerate_kwargs-Dictionary an.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Load a text-to-audio pipeline
musicgen = pipeline(task="____", model="____", framework="pt")
# Make a dictionary to set the generation temperature to 0.8 and max_new_tokens to 1
generate_kwargs = {"____": ____, "____": ____}
# Generate an audio array passing the arguments
outputs = ____("____", ____=____)
sf.write("output.wav", outputs["audio"][0][0], outputs["sampling_rate"])