Bắt đầu ngayBắt đầu miễn phí

Tiền xử lý văn bản với AutoTokenizer

Bạn đang xây dựng một ứng dụng nông nghiệp chính xác để giúp nông dân đặt câu hỏi về các vấn đề họ gặp phải trên đồng ruộng. Bạn sẽ tận dụng một tập dữ liệu gồm các câu hỏi thường gặp và câu trả lời cho các vấn đề của nông dân; các trường trong tập dữ liệu này bao gồm

  • question: các câu hỏi nông nghiệp thường gặp
  • answers: câu trả lời cho các câu hỏi nông nghiệp

Bước đầu tiên trong huấn luyện phân tán, bạn sẽ bắt đầu bằng cách tiền xử lý tập dữ liệu văn bản này.

Một số dữ liệu đã được nạp sẵn:

  • dataset chứa một mẫu tập dữ liệu các câu hỏi và câu trả lời về nông nghiệp
  • AutoTokenizer đã được import từ transformers

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Tải tokenizer đã được huấn luyện trước.
  • Tokenize example["question"] bằng tokenizer.
  • Áp dụng hàm encode() lên dataset.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Load a pre-trained tokenizer
tokenizer = ____.____("distilbert-base-uncased")

def encode(example):
    # Tokenize the "question" field of the training example
    return ____(____["____"], padding="max_length", truncation=True, return_tensors="pt")

# Map the function to the dataset
dataset = ____.____(____, batched=True)

dataset = dataset.map(lambda example: {"labels": example["answers"]}, batched=True)

print(dataset)
Chỉnh sửa và Chạy Mã