La fonction d'activation linéaire rectifiée

Comme Dan vous l'a expliqué dans la vidéo, une « fonction d'activation » est une fonction appliquée à chaque nœud. Il convertit l'entrée du nœud en une sortie.

La fonction d'activation linéaire rectifiée (appelée ReLU) s'est avérée très performante pour les réseaux. Cette fonction prend un seul nombre en entrée et renvoie 0 si l'entrée est négative, et l'entrée si l'entrée est positive.

Voici quelques exemples :
relu(3) = 3
relu(-3) = 0

Cet exercice fait partie du cours

Introduction au Deep Learning avec Python

Afficher le cours

Instructions

Veuillez définir la fonction d'relu():
- Utilisez la fonction « max() » pour calculer la valeur de la sortie de « relu() ».
Appliquez la fonction relu() à node_0_input pour calculer node_0_output.
Appliquez la fonction relu() à node_1_input pour calculer node_1_output.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Modifier et exécuter le code