1. Nauka
    2. /
  2. Kursy
    3. /
  3. Praca z Hugging Face
Connected

ćwiczenie

Tokenizacja tekstu z AutoTokenizer

AutoTokenizer upraszcza przygotowanie tekstu, automatycznie obsługując czyszczenie, normalizację i tokenizację. Dzięki temu tekst jest przetwarzany dokładnie tak, jak oczekuje model.

W tym ćwiczeniu sprawdź, jak AutoTokenizer przekształca tekst w tokeny gotowe do zadań z uczenia maszynowego.

Instrukcje

100 XP
  • Zaimportuj wymaganą klasę z transformers, wczytaj tokenizer przy użyciu odpowiedniej metody i podziel tekst wejściowy na tokeny.