Tokenizarea textului

În acest exercițiu, vei folosi setul de date flickr, care conține 30.000 de imagini și descrieri asociate, pentru a efectua operații de preprocesare pe text. Acest pas este necesar pentru ca modelele să poată realiza sarcini precum clasificarea textului. Este deosebit de util în aplicațiile multi-modale, unde modelele Hugging Face pot verifica dacă o descriere este potrivită pentru imaginea asociată.

Setul de date (dataset) a fost încărcat, iar AutoTokenizer a fost importat.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load the first caption from the image at index 5
text = dataset[5]["____"][0]
print(text)

Editează și rulează codul

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Explorează hub-ul de modele Hugging Face, transformă text brut, audio și date vizuale în formate compatibile cu AI. Învață cum să găsești cele mai recente și populare modele pentru sarcini precum generarea de text și cum să folosești pipeline-uri gata construite.

Exercise 1: Navigarea modelelor Hugging Face Exercise 2: Câte modele!?Exercise 3: Găsirea celui mai popular model text-to-image Exercise 4: Preprocesarea diferitelor modalități Exercise 5: Tokenizarea textului

Exercițiul curent

Exercise 6: Preprocesarea imaginilor Exercise 7: Preprocesarea datelor audio Exercise 8: Sarcini de pipeline și evaluări Exercise 9: Generarea de descrieri cu pipeline Exercise 10: Transmiterea argumentelor cheie Exercise 11: Evaluarea modelului pe un set de date personalizat

Învață să stăpânești modalități individuale cu modele de ultimă generație. Descoperă computer vision pentru clasificarea și segmentarea imaginilor, explorează recunoașterea vorbirii și sinteza text-to-speech și exersează tehnici eficiente de fine-tuning. Dezvoltă abilități practice cu modele pre-antrenate din biblioteca transformers de la Hugging Face.

Exercise 1: Vedere computerizată Exercise 2: Clasificarea imaginilor Exercise 3: Detectarea obiectelor Exercise 4: Eliminarea fundalului dintr-o imagine Exercise 5: Ajustarea fină a modelelor de computer vision Exercise 6: Ajustare fină CV: pregătirea setului de date Exercise 7: Fine-tuning CV: clasele modelului Exercise 8: Fine-tuning CV: configurarea trainer-ului Exercise 9: Recunoaștere vocală și generare audio Exercise 10: Recunoaștere automată a vorbirii Exercise 11: Crearea embedding-urilor vocale Exercise 12: Eliminarea zgomotului din audio Exercise 13: Reglarea fină a modelelor text-to-speech Exercise 14: Reglajul fin al unui model text-to-speech Exercise 15: Generarea unui nou discurs

Învață să combini informații vizuale, textuale și audio pentru aplicații AI mai complexe. Stăpânește tehnici precum CLIP pentru clasificare zero-shot, construiește analizatoare de sentiment care văd și citesc și creează detectoare de emoții ce îmbină expresiile faciale cu vocea. Du modelele tale AI dincolo de gândirea cu o singură modalitate.

Exercise 1: Clasificarea imaginilor zero-shot Exercise 2: Învățare zero-shot cu CLIP Exercise 3: Evaluarea automată a calității legendelor Exercise 4: Analiză de sentiment multi-modală Exercise 5: Promptarea modelelor de limbaj vizual (VLM)Exercise 6: Clasificarea sentimentelor multi-modal cu Qwen Exercise 7: Clasificare video zero-shot Exercise 8: Separarea audio dintr-un videoclip Exercise 9: Analiza sentimentelor din video cu CLIP și CLAP

Transformă ideile în realitate! Stăpânește tehnici AI de ultimă oră pentru a genera și manipula conținut vizual cu ajutorul prompturilor text. Creează imagini impresionante, editează fotografii în mod inteligent și construiește sisteme puternice de răspuns la întrebări despre imagini și documente. Dă formă viziunii tale creative cu AI multi-modal.

Exercise 1: Răspuns la întrebări vizuale (VQA)Exercise 2: VQA cu Vision Language Transformers (ViLT-uri)Exercise 3: VQA pe documente cu LayoutLM Exercise 4: Editarea imaginilor cu modele de difuzie Exercise 5: Editare personalizată de imagini Exercise 6: Inpainting de imagini Exercise 7: Generarea videoclipurilor Exercise 8: Creează un videoclip!Exercise 9: Evaluarea performanței generării video Exercise 10: Felicitări!