Przekazywanie argumentów słownikowych
W tym ćwiczeniu nauczysz się, jak przekazywać argumenty słownikowe do funkcji modelu używanego wewnątrz potoku.
Skorzystasz z małego modelu MusicGen firmy Meta, który potrafi generować próbki muzyczne na podstawie opisów tekstowych lub promptów audio.
Moduł pipeline jest już załadowany, a biblioteka soundfile jest dostępna jako sf.
To ćwiczenie jest częścią kursu
Modele multimodalne z Hugging Face
Instrukcje do ćwiczenia
- Załaduj potok
text-to-audio, używając modelufacebook/musicgen-smallw środowisku PyTorch. - Utwórz słownik o nazwie
generate_kwargs, w którym ustawisz temperaturę generowania na0.8, amax_new_tokensna1. - Wygeneruj tablicę audio, używając promptu
"Classic rock riff"i dostosowując parametry generowania za pomocą słownikagenerate_kwargs.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load a text-to-audio pipeline
musicgen = pipeline(task="____", model="____", framework="pt")
# Make a dictionary to set the generation temperature to 0.8 and max_new_tokens to 1
generate_kwargs = {"____": ____, "____": ____}
# Generate an audio array passing the arguments
outputs = ____("____", ____=____)
sf.write("output.wav", outputs["audio"][0][0], outputs["sampling_rate"])