Generarea unui nou discurs

E momentul să îți completezi stăpânirea modelelor audio de la Hugging Face! Vei folosi un model ajustat fin pentru a genera un discurs nou pornind de la o voce dată. Vei alege o voce din VCTK Corpus ca bază pentru noul audio.

dataset-ul și modelul SpeechT5ForTextToSpeech (model) au fost deja încărcate, iar o funcție make_spectogram() a fost pusă la dispoziție pentru a ajuta la reprezentarea grafică.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Instrucțiuni pentru exercițiu

Încarcă un eșantion de încorporare a vorbitorului de la indexul 5 din dataset-ul de testare.
Generează discursul din textul procesat specificând inputs, speaker_embedding și vocoder.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

text = "Hi, welcome to your new voice."

# Load a speaker embedding from the dataset
speaker_embedding = torch.tensor(dataset[5]["____"]).unsqueeze(0)

inputs = processor(text=text, return_tensors="pt")
vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

# Generate speech
speech = model.generate_speech(____["input_ids"], ____, ____=____)

make_spectrogram(speech)

Editează și rulează codul

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Explorează hub-ul de modele Hugging Face, transformă text brut, audio și date vizuale în formate compatibile cu AI. Învață cum să găsești cele mai recente și populare modele pentru sarcini precum generarea de text și cum să folosești pipeline-uri gata construite.

Exercise 1: Navigarea modelelor Hugging Face Exercise 2: Câte modele!?Exercise 3: Găsirea celui mai popular model text-to-image Exercise 4: Preprocesarea diferitelor modalități Exercise 5: Tokenizarea textului Exercise 6: Preprocesarea imaginilor Exercise 7: Preprocesarea datelor audio Exercise 8: Sarcini de pipeline și evaluări Exercise 9: Generarea de descrieri cu pipeline Exercise 10: Transmiterea argumentelor cheie Exercise 11: Evaluarea modelului pe un set de date personalizat

Învață să stăpânești modalități individuale cu modele de ultimă generație. Descoperă computer vision pentru clasificarea și segmentarea imaginilor, explorează recunoașterea vorbirii și sinteza text-to-speech și exersează tehnici eficiente de fine-tuning. Dezvoltă abilități practice cu modele pre-antrenate din biblioteca transformers de la Hugging Face.

Exercise 1: Vedere computerizată Exercise 2: Clasificarea imaginilor Exercise 3: Detectarea obiectelor Exercise 4: Eliminarea fundalului dintr-o imagine Exercise 5: Ajustarea fină a modelelor de computer vision Exercise 6: Ajustare fină CV: pregătirea setului de date Exercise 7: Fine-tuning CV: clasele modelului Exercise 8: Fine-tuning CV: configurarea trainer-ului Exercise 9: Recunoaștere vocală și generare audio Exercise 10: Recunoaștere automată a vorbirii Exercise 11: Crearea embedding-urilor vocale Exercise 12: Eliminarea zgomotului din audio Exercise 13: Reglarea fină a modelelor text-to-speech Exercise 14: Reglajul fin al unui model text-to-speech Exercise 15: Generarea unui nou discurs

Exercițiul curent

Învață să combini informații vizuale, textuale și audio pentru aplicații AI mai complexe. Stăpânește tehnici precum CLIP pentru clasificare zero-shot, construiește analizatoare de sentiment care văd și citesc și creează detectoare de emoții ce îmbină expresiile faciale cu vocea. Du modelele tale AI dincolo de gândirea cu o singură modalitate.

Exercise 1: Clasificarea imaginilor zero-shot Exercise 2: Învățare zero-shot cu CLIP Exercise 3: Evaluarea automată a calității legendelor Exercise 4: Analiză de sentiment multi-modală Exercise 5: Promptarea modelelor de limbaj vizual (VLM)Exercise 6: Clasificarea sentimentelor multi-modal cu Qwen Exercise 7: Clasificare video zero-shot Exercise 8: Separarea audio dintr-un videoclip Exercise 9: Analiza sentimentelor din video cu CLIP și CLAP

Transformă ideile în realitate! Stăpânește tehnici AI de ultimă oră pentru a genera și manipula conținut vizual cu ajutorul prompturilor text. Creează imagini impresionante, editează fotografii în mod inteligent și construiește sisteme puternice de răspuns la întrebări despre imagini și documente. Dă formă viziunii tale creative cu AI multi-modal.

Exercise 1: Răspuns la întrebări vizuale (VQA)Exercise 2: VQA cu Vision Language Transformers (ViLT-uri)Exercise 3: VQA pe documente cu LayoutLM Exercise 4: Editarea imaginilor cu modele de difuzie Exercise 5: Editare personalizată de imagini Exercise 6: Inpainting de imagini Exercise 7: Generarea videoclipurilor Exercise 8: Creează un videoclip!Exercise 9: Evaluarea performanței generării video Exercise 10: Felicitări!