Tách token văn bản

Trong bài tập này, bạn sẽ dùng bộ dữ liệu flickr với 30.000 ảnh và các chú thích đi kèm để tiền xử lý văn bản. Điều này là cần thiết để các mô hình sử dụng cho những nhiệm vụ như phân loại văn bản. Việc này đặc biệt hữu ích cho các ứng dụng đa phương thức, nơi bạn có thể dùng các mô hình của Hugging Face để kiểm tra mức độ phù hợp của chú thích với ảnh liên quan.

Bộ dữ liệu (dataset) đã được tải và AutoTokenizer đã được nhập.

Bài tập này là một phần của khóa học

Mô hình đa phương thức với Hugging Face

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Load the first caption from the image at index 5
text = dataset[5]["____"][0]
print(text)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Mô hình đa phương thức với Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Khám phá kho mô hình của Hugging Face, chuyển đổi văn bản, âm thanh và dữ liệu thị giác thô sang định dạng thân thiện với AI. Học cách tìm các mô hình phổ biến mới nhất cho các tác vụ như sinh văn bản và tận dụng sức mạnh của các pipeline dựng sẵn.

Exercise 1: Điều hướng mô hình trên Hugging Face Exercise 2: Nhiều mô hình thế cơ à!?Exercise 3: Tìm mô hình text-to-image phổ biến nhất Exercise 4: Tiền xử lý các kiểu dữ liệu khác nhau Exercise 5: Tách token văn bản

Bài tập hiện tại

Exercise 6: Tiền xử lý ảnh Exercise 7: Tiền xử lý âm thanh Exercise 8: Các tác vụ pipeline và cách đánh giá Exercise 9: Tạo mô tả ảnh bằng Pipeline Exercise 10: Truyền đối số từ khóa Exercise 11: Đánh giá mô hình trên tập dữ liệu tùy chỉnh

Nắm vững từng phương thức với các mô hình tối tân. Đi sâu vào thị giác máy tính cho phân loại và phân đoạn ảnh, khám phá nhận dạng giọng nói và tổng hợp văn bản thành giọng nói, và học các kỹ thuật fine-tuning hiệu quả. Xây dựng kỹ năng thực hành với các mô hình đã huấn luyện sẵn từ thư viện transformers của Hugging Face.

Exercise 1: Thị giác máy tính Exercise 2: Phân loại ảnh Exercise 3: Phát hiện vật thể Exercise 4: Xóa phông nền ảnh Exercise 5: Tinh chỉnh mô hình thị giác máy tính Exercise 6: Fine-tuning CV: chuẩn bị dữ liệu Exercise 7: Fine-tuning CV: các lớp mô hình Exercise 8: Vi tinh chỉnh CV: cấu hình trainer Exercise 9: Nhận dạng giọng nói và tạo âm thanh Exercise 10: Nhận dạng giọng nói tự động Exercise 11: Tạo speech embedding Exercise 12: Khử nhiễu âm thanh Exercise 13: Tinh chỉnh mô hình chuyển văn bản thành giọng nói Exercise 14: Fine-tune mô hình text-to-speech Exercise 15: Tạo giọng nói mới

Học cách hợp nhất thông tin hình ảnh, văn bản và âm thanh để tạo ra ứng dụng AI phong phú hơn. Làm chủ các kỹ thuật như CLIP cho phân loại zero-shot, xây dựng bộ phân tích cảm xúc vừa “nhìn” vừa “đọc”, và tạo bộ nhận diện cảm xúc kết hợp nét mặt với giọng nói. Đưa mô hình AI của bạn vượt khỏi tư duy đơn phương thức.

Exercise 1: Phân loại ảnh zero-shot Exercise 2: Học zero-shot với CLIP Exercise 3: Đánh giá tự động chất lượng chú thích ảnh Exercise 4: Phân tích cảm xúc đa phương thức Exercise 5: Gợi ý cho Vision Language Models (VLMs)Exercise 6: Phân loại cảm xúc đa phương thức với Qwen Exercise 7: Phân loại video zero-shot Exercise 8: Tách âm thanh từ video Exercise 9: Phân tích cảm xúc video với CLIP CLAP

Biến ý tưởng thành hiện thực! Làm chủ các kỹ thuật AI tối tân để tạo và chỉnh sửa nội dung thị giác bằng prompt văn bản. Tạo ra những hình ảnh ấn tượng, chỉnh sửa ảnh một cách thông minh, và xây dựng hệ thống hỏi-đáp mạnh mẽ cho ảnh và tài liệu. Biến tầm nhìn sáng tạo của bạn thành hiện thực số với AI đa phương thức.

Exercise 1: Trả lời câu hỏi trực quan (VQA)Exercise 2: VQA với Vision Language Transformers (ViLT)Exercise 3: VQA cho tài liệu với LayoutLM Exercise 4: Chỉnh sửa ảnh với mô hình khuếch tán Exercise 5: Chỉnh sửa ảnh tùy biến Exercise 6: Inpainting ảnh Exercise 7: Tạo video Exercise 8: Tạo một video!Exercise 9: Đánh giá hiệu năng sinh video Exercise 10: Chúc mừng bạn!