Hàm kích hoạt tuyến tính chỉnh lưu

Như Dan đã giải thích trong video, một "hàm kích hoạt" là hàm được áp dụng tại mỗi node. Nó chuyển đổi đầu vào của node thành một đầu ra nào đó.

Hàm kích hoạt tuyến tính chỉnh lưu (gọi là ReLU) đã được chứng minh là giúp mạng đạt hiệu năng rất cao. Hàm này nhận một số làm đầu vào, trả về 0 nếu đầu vào âm, và trả về chính đầu vào nếu đầu vào dương.

Ví dụ:
relu(3) = 3
relu(-3) = 0

Bài tập này là một phần của khóa học

Nhập môn Deep Learning với Python

Xem khóa học

Hướng dẫn bài tập

Điền định nghĩa cho hàm relu():
- Dùng hàm max() để tính giá trị đầu ra của relu().
Áp dụng hàm relu() lên node_0_input để tính node_0_output.
Áp dụng hàm relu() lên node_1_input để tính node_1_output.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Chỉnh sửa và Chạy Mã