Tokenizacja tekstu
W tym ćwiczeniu użyjesz zbioru danych flickr, który zawiera 30 000 obrazów wraz z powiązanymi podpisami, aby wykonać operacje przetwarzania wstępnego na tekście. Jest to konieczne, by dane mogły być wykorzystywane przez modele do zadań takich jak klasyfikacja tekstu. Szczególnie przydaje się to w aplikacjach multimodalnych, gdzie modele Hugging Face mogą sprawdzać, czy podpis pasuje do danego obrazu.
Zbiór danych (dataset) został wczytany, a klasa AutoTokenizer zaimportowana.
To ćwiczenie jest częścią kursu
Modele multimodalne z Hugging Face
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load the first caption from the image at index 5
text = dataset[5]["____"][0]
print(text)