AutoTokenizer ile metin tokenleştirme
AutoTokenizer'lar, temizleme, normalleştirme ve tokenleştirmeyi otomatik olarak yöneterek metin hazırlamayı kolaylaştırır. Metnin modelin beklediği şekilde işlenmesini sağlarlar.
Bu egzersizde, AutoTokenizer'ın metni Machine Learning görevlerine hazır token'lara nasıl dönüştürdüğünü keşfet.
Bu egzersiz
Hugging Face ile Çalışmak
kursunun bir parçasıdırEgzersiz talimatları
transformersiçinden gerekli sınıfı içe aktar, doğru yöntemle tokenizer'ı yükle ve girdi metnini token'lara böl.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Import necessary library for tokenization
from transformers import ____
# Load the tokenizer
tokenizer = AutoTokenizer.____("distilbert-base-uncased-finetuned-sst-2-english")
# Split input text into tokens
tokens = tokenizer.____("AI: Making robots smarter and humans lazier!")
# Display the tokenized output
print(f"Tokenized output: {tokens}")