1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Working with Hugging Face
Connected

cvičení

Tokenizace textu pomocí AutoTokenizer

AutoTokenizer zjednodušuje přípravu textu – automaticky se postará o čištění, normalizaci i tokenizaci. Díky tomu je text zpracován přesně tak, jak model očekává.

V tomto cvičení si vyzkoušíš, jak AutoTokenizer převádí text na tokeny připravené pro úlohy strojového učení.

Pokyny

100 XP
  • Importuj potřebnou třídu z transformers, načti tokenizér správnou metodou a rozděl vstupní text na tokeny.