Text mit AutoTokenizer in Token aufteilen
AutoTokenizer machen die Textvorbereitung einfacher, indem sie das Säubern, Normalisieren und Tokenisieren automatisch erledigen. Sie sorgen dafür, dass der Text so verarbeitet wird, wie es das Modell erwartet.
In dieser Übung kannst du sehen, wie AutoTokenizer Text in Tokens umwandelt, die für Machine-Learning-Aufgaben verwendet werden können.
Diese Übung ist Teil des Kurses
Arbeiten mit Hugging Face
Anleitung zur Übung
- Importier die benötigte Klasse aus „
transformers“, lade den Tokenizer mit der richtigen Methode und teil den Eingabetext in Tokens auf.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Import necessary library for tokenization
from transformers import ____
# Load the tokenizer
tokenizer = AutoTokenizer.____("distilbert-base-uncased-finetuned-sst-2-english")
# Split input text into tokens
tokens = tokenizer.____("AI: Making robots smarter and humans lazier!")
# Display the tokenized output
print(f"Tokenized output: {tokens}")