Automatyczna ocena jakości podpisu

Udało ci się poprawnie sklasyfikować obraz sukienki – ale jak dobry był oryginalny opis?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Teraz użyjesz modelu CLIP, aby ilościowo ocenić trafność tego opisu za pomocą wskaźnika CLIP score. Załadowane zostały: podpis (description), obraz (image), klasa ToTensor oraz funkcja clip_score() z biblioteki torchmetrics.

To ćwiczenie jest częścią kursu

Modele multimodalne z Hugging Face

Instrukcje do ćwiczenia

Przekształć obraz na tensor PyTorch z wartościami intensywności w zakresie 0–255.
Użyj funkcji clip_score(), aby ocenić jakość podpisu, porównując image_tensor i description z modelem openai/clip-vit-base-patch32.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____

# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")

print(f"CLIP score: {score}")

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Modele multimodalne z Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Naucz się poruszać po repozytorium modeli Hugging Face oraz przekształcać surowe dane tekstowe, audio i wizualne w formaty przyjazne dla AI. Dowiedz się, jak znajdować najnowsze i najpopularniejsze modele do takich zadań jak generowanie tekstu, i wykorzystaj możliwości gotowych potoków przetwarzania.

Exercise 1: Nawigacja po modelach Hugging Face Exercise 2: Ile jest modeli!?Exercise 3: Znajdowanie najpopularniejszego modelu text-to-image Exercise 4: Przetwarzanie wstępne różnych modalności Exercise 5: Tokenizacja tekstu Exercise 6: Przetwarzanie wstępne obrazów Exercise 7: Wstępne przetwarzanie dźwięku Exercise 8: Zadania potokowe i ewaluacja Exercise 9: Generowanie podpisów obrazów za pomocą potoku Exercise 10: Przekazywanie argumentów słownikowych Exercise 11: Ewaluacja modelu na własnym zbiorze danych

Naucz się pracować z poszczególnymi modalnościami przy użyciu najnowocześniejszych modeli. Zagłęb się w widzenie komputerowe na potrzeby klasyfikacji i segmentacji obrazów, poznaj rozpoznawanie mowy i syntezę mowy z tekstu, a także opanuj skuteczne techniki dostrajania modeli. Zdobywaj praktyczne umiejętności, korzystając z wytrenowanych modeli z biblioteki transformers Hugging Face.

Exercise 1: Wizja komputerowa Exercise 2: Klasyfikacja obrazów Exercise 3: Wykrywanie obiektów Exercise 4: Usuwanie tła obrazu Exercise 5: Dostrajanie modeli computer vision Exercise 6: Dostrajanie CV: przygotowanie zbioru danych Exercise 7: Dostrajanie CV: klasy modelu Exercise 8: Dostrajanie CV: konfiguracja trenera Exercise 9: Rozpoznawanie mowy i generowanie dźwięku Exercise 10: Automatyczne rozpoznawanie mowy Exercise 11: Tworzenie osadzeń mówcy Exercise 12: Odszumianie audio Exercise 13: Dostrajanie modeli text-to-speech Exercise 14: Dostrajanie modelu text-to-speech Exercise 15: Generowanie nowej mowy

Naucz się łączyć informacje wizualne, tekstowe i audio, aby tworzyć bogatsze aplikacje AI. Opanuj techniki takie jak CLIP do klasyfikacji zero-shot, buduj analizatory nastrojów widzące i czytające jednocześnie, oraz twórz detektory emocji łączące mimikę twarzy z głosem. Wyjdź poza myślenie w kategoriach pojedynczej modalności.

Exercise 1: Klasyfikacja obrazów metodą zero-shot Exercise 2: Zero-shot learning z CLIP Exercise 3: Automatyczna ocena jakości podpisu

Bieżące ćwiczenie

Exercise 4: Multimodalna analiza sentymentu Exercise 5: Prompting modeli językowo-wizyjnych (VLM)Exercise 6: Multimodalna klasyfikacja sentymentu z Qwen Exercise 7: Klasyfikacja wideo metodą zero-shot Exercise 8: Wyodrębnianie audio z wideo Exercise 9: Analiza sentymentu wideo z CLIP i CLAP

Przekształć pomysły w rzeczywistość! Opanuj najnowocześniejsze techniki AI do generowania i manipulowania treściami wizualnymi za pomocą promptów tekstowych. Twórz efektowne obrazy, inteligentnie edytuj zdjęcia i buduj wydajne systemy odpowiadania na pytania dotyczące obrazów i dokumentów. Zamień swoją wizję twórczą w cyfrową rzeczywistość z multimodalną AI.

Exercise 1: Wizualne odpowiadanie na pytania (VQA)Exercise 2: VQA z użyciem Vision Language Transformers (ViLTs)Exercise 3: Document VQA z LayoutLM Exercise 4: Edycja obrazów z użyciem modeli dyfuzyjnych Exercise 5: Niestandardowa edycja obrazów Exercise 6: Inpainting obrazów Exercise 7: Generowanie wideo Exercise 8: Stwórz wideo!Exercise 9: Ocena jakości generowania wideo Exercise 10: Gratulacje!