La fonction d’activation linéaire rectifiée

Comme Dan vous l’a expliqué dans la vidéo, une « fonction d’activation » est une fonction appliquée à chaque nœud. Elle transforme l’entrée du nœud en une sortie.

La fonction d’activation linéaire rectifiée (appelée ReLU) a montré qu’elle permettait d’obtenir des réseaux très performants. Cette fonction prend un seul nombre en entrée ; elle renvoie 0 si l’entrée est négative, et l’entrée elle‑même si elle est positive.

Voici quelques exemples :
relu(3) = 3
relu(-3) = 0

Cet exercice fait partie du cours

Introduction au Deep Learning en Python

Afficher le cours

Instructions

Complétez la définition de la fonction relu() :
- Utilisez la fonction max() pour calculer la valeur de sortie de relu().
Appliquez la fonction relu() à node_0_input pour calculer node_0_output.
Appliquez la fonction relu() à node_1_input pour calculer node_1_output.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Modifier et exécuter le code