Hàm kích hoạt: ReLU vs. ELU

Việc chọn hàm kích hoạt trong mô hình (kết hợp với khởi tạo trọng số tương ứng) có thể ảnh hưởng mạnh đến quá trình huấn luyện. Đặc biệt, chọn đúng hàm kích hoạt có thể giúp mạng tránh gặp vấn đề về gradient không ổn định.

Trong bài trước, bạn đã chuyển từ ReLU sang ELU. Bạn còn nhớ đặc điểm nào của hai hàm kích hoạt này giải thích cho sự thay đổi đó không?

Bài tập này là một phần của khóa học

Deep Learning nâng cao với PyTorch

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Deep Learning nâng cao với PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2115 reviews

Bắt đầu khóa học miễn phí

Tìm hiểu cách huấn luyện mạng nơ-ron một cách vững chắc. Trong chương này, bạn sẽ dùng lập trình hướng đối tượng để định nghĩa dataset và mô hình PyTorch, đồng thời ôn lại cách huấn luyện và đánh giá mạng nơ-ron. Bạn cũng sẽ làm quen với các bộ tối ưu (optimizer) khác nhau và cuối cùng nắm được nhiều kỹ thuật giúp giảm thiểu vấn đề gradient không ổn định vốn rất phổ biến khi huấn luyện mạng nơ-ron.

Exercise 1: PyTorch và lập trình hướng đối tượng Exercise 2: PyTorch Dataset Exercise 3: PyTorch DataLoader Exercise 4: Mô hình PyTorch Exercise 5: Bộ tối ưu, huấn luyện và đánh giá Exercise 6: Vòng lặp huấn luyện Exercise 7: Bộ tối ưu hóa Exercise 8: Đánh giá mô hình Exercise 9: Gradient biến mất và bùng nổ Exercise 10: Khởi tạo và hàm kích hoạt Exercise 11: Hàm kích hoạt: ReLU vs. ELU

Bài tập hiện tại

Exercise 12: Batch Normalization

Huấn luyện mạng nơ-ron để giải bài toán phân loại ảnh. Trong chương này, bạn sẽ học cách xử lý dữ liệu ảnh trong PyTorch và nắm vững mạng nơ-ron tích chập (CNN). Bạn sẽ thực hành huấn luyện và đánh giá một bộ phân loại ảnh, đồng thời tìm hiểu cách cải thiện hiệu năng mô hình bằng tăng cường dữ liệu (data augmentation).

Exercise 1: Xử lý ảnh với PyTorch Exercise 2: Bộ dữ liệu ảnh Exercise 3: Tăng cường dữ liệu (Data augmentation)Exercise 4: Data augmentation trong PyTorch Exercise 5: Mạng nơ-ron tích chập (Convolutional Neural Networks)Exercise 6: Lớp tích chập (convolutional layer)Exercise 7: Xây dựng mạng tích chập Exercise 8: Huấn luyện bộ phân loại ảnh Exercise 9: Chọn phép tăng cường dữ liệu Exercise 10: Dataset với augmentations Exercise 11: Vòng lặp huấn luyện bộ phân loại ảnh Exercise 12: Đánh giá bộ phân loại ảnh Exercise 13: Đánh giá mô hình đa lớp Exercise 14: Phân tích metric theo từng lớp

Xây dựng và huấn luyện mạng nơ-ron hồi tiếp (RNN) để xử lý dữ liệu tuần tự như chuỗi thời gian, văn bản hoặc âm thanh. Bạn sẽ học về hai kiến trúc hồi tiếp phổ biến nhất, Long Short-Term Memory (LSTM) và Gated Recurrent Unit (GRU), cũng như cách chuẩn bị dữ liệu tuần tự cho việc huấn luyện mô hình. Bạn sẽ thực hành bằng cách huấn luyện và đánh giá một mô hình hồi tiếp để dự đoán mức tiêu thụ điện.

Exercise 1: Xử lý chuỗi với PyTorch Exercise 2: Tạo chuỗi Exercise 3: Bộ dữ liệu tuần tự Exercise 4: Mạng nơ-ron hồi quy (Recurrent Neural Networks)Exercise 5: Kiến trúc tuần tự Exercise 6: Xây dựng một RNN dự báo Exercise 7: Các tế bào LSTM và GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Mạng LSTM Exercise 10: Mạng GRU Exercise 11: Huấn luyện và đánh giá RNN Exercise 12: Vòng lặp huấn luyện RNN Exercise 13: Đánh giá mô hình dự báo

Xây dựng các mô hình đa đầu vào và đa đầu ra, minh họa cách chúng xử lý những tác vụ cần nhiều hơn một đầu vào hoặc tạo ra nhiều đầu ra. Bạn sẽ khám phá cách thiết kế và huấn luyện các mô hình này bằng PyTorch, đồng thời đi sâu vào chủ đề quan trọng là cân trọng số hàm mất mát trong mô hình đa đầu ra. Điều này bao gồm việc hiểu cách cân bằng tầm quan trọng của các tác vụ khác nhau khi huấn luyện một mô hình thực hiện đồng thời nhiều nhiệm vụ.

Exercise 1: Mô hình đa đầu vào Exercise 2: Bộ dữ liệu hai đầu vào Exercise 3: Mô hình hai đầu vào Exercise 4: Huấn luyện mô hình hai đầu vào Exercise 5: Mô hình đa đầu ra Exercise 6: Dataset và DataLoader cho hai đầu ra Exercise 7: Kiến trúc mô hình hai đầu ra Exercise 8: Huấn luyện mô hình đa đầu ra Exercise 9: Đánh giá mô hình đa đầu ra và cân bằng trọng số loss Exercise 10: Đánh giá mô hình đa đầu ra Exercise 11: Cân trọng số loss Exercise 12: Tổng kết