1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Multi-Modal Models with Hugging Face
Connected

cvičení

Tokenizace textu

V tomto cvičení použiješ dataset flickr, který obsahuje 30 000 obrázků a jejich popisky, a provedeš předběžné zpracování textu. To je nezbytný krok, aby mohly modely text využít například při klasifikaci. Hodí se to zejména pro multimodální aplikace, kde Hugging Face modely dokážou ověřit, jestli popisek odpovídá přiřazenému obrázku.

Dataset (dataset) je načtený a třída AutoTokenizer je importována.

Pokyny 1/2

undefined XP
    1
    2
  • Načti první "caption" z obrázku na indexu 5 v datasetu dataset.