BaşlayınÜcretsiz başlayın

AutoTokenizer ile metin tokenleştirme

AutoTokenizer'lar, temizleme, normalleştirme ve tokenleştirmeyi otomatik olarak yöneterek metin hazırlamayı kolaylaştırır. Metnin modelin beklediği şekilde işlenmesini sağlarlar.

Bu egzersizde, AutoTokenizer'ın metni Machine Learning görevlerine hazır token'lara nasıl dönüştürdüğünü keşfet.

Bu egzersiz, kursun bir parçasıdır

Hugging Face ile Çalışmak

Kursa Göz Atın

Egzersiz talimatları

  • transformers içinden gerekli sınıfı içe aktar, doğru yöntemle tokenizer'ı yükle ve girdi metnini token'lara böl.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Import necessary library for tokenization
from transformers import ____

# Load the tokenizer
tokenizer = AutoTokenizer.____("distilbert-base-uncased-finetuned-sst-2-english")

# Split input text into tokens
tokens = tokenizer.____("AI: Making robots smarter and humans lazier!")

# Display the tokenized output
print(f"Tokenized output: {tokens}")
Kodu Düzenle ve Çalıştır