Exercise

Tokenizarea textului cu AutoTokenizer

AutoTokenizer simplifică pregătirea textului prin curățare, normalizare și tokenizare automată. Astfel, textul este procesat exact în formatul pe care modelul îl așteaptă.

În acest exercițiu, explorează cum transformă AutoTokenizer textul în token-uri pregătite pentru sarcinile de învățare automată.

Instructions

100 XP

Importă clasa necesară din transformers, încarcă tokenizer-ul folosind metoda corectă și împarte textul de intrare în token-uri.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}Exercise

Instructions

Exercise