1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Deep Learning cho Văn bản với PyTorch
Connected

Bài tập

Transfer learning với BERT

Tại PyBooks, công ty quyết định tận dụng sức mạnh của BERT, một mô hình transformer đã được huấn luyện sẵn, cho bài toán phân tích cảm xúc. BERT đã đạt hiệu năng ấn tượng trên nhiều tác vụ NLP, khiến nó trở thành lựa chọn hàng đầu cho trường hợp này.

Nhiệm vụ của bạn là thiết lập một quy trình cơ bản sử dụng BERT từ thư viện transformers cho phân loại cảm xúc nhị phân.

Những thành phần sau đã được nhập sẵn: BertTokenizer, BertForSequenceClassification, torch. Dữ liệu ví dụ texts và các labels tương ứng cũng đã được nạp trước.

Hướng dẫn

100 XP
  • Tải bert-base-uncased tokenizer và mô hình phù hợp cho phân loại nhị phân.
  • Tokenize tập dữ liệu và chuẩn bị đầu vào cho mô hình, đảm bảo trả về tensor của PyTorch bằng tham số return_tensors.
  • Thiết lập optimizer sử dụng các tham số của mô hình.