1. Learn
    2. /
  2. Kurser
    3. /
  3. Mô hình đa phương thức với Hugging Face
Connected

övning

Tách token văn bản

Trong bài tập này, bạn sẽ dùng bộ dữ liệu flickr với 30.000 ảnh và các chú thích đi kèm để tiền xử lý văn bản. Điều này là cần thiết để các mô hình sử dụng cho những nhiệm vụ như phân loại văn bản. Việc này đặc biệt hữu ích cho các ứng dụng đa phương thức, nơi bạn có thể dùng các mô hình của Hugging Face để kiểm tra mức độ phù hợp của chú thích với ảnh liên quan.

Bộ dữ liệu (dataset) đã được tải và AutoTokenizer đã được nhập.

Instruktioner 1/2

undefined XP
    1
    2
  • Tải "caption" đầu tiên từ ảnh ở vị trí chỉ mục 5 của dataset.