La función de activación lineal rectificada

Como te explicó Dan en el vídeo, una "función de activación" se aplica en cada nodo. Convierte la entrada del nodo en una salida.

Se ha demostrado que la función de activación lineal rectificada (llamada ReLU) da lugar a redes de muy alto rendimiento. Esta función toma un único número como entrada y devuelve 0 si la entrada es negativa, y la propia entrada si es positiva.

Aquí tienes algunos ejemplos:
relu(3) = 3
relu(-3) = 0

Este ejercicio forma parte del curso

Introducción al Deep Learning en Python

Ver curso

Instrucciones del ejercicio

Completa la definición de la función relu():
- Usa la función max() para calcular el valor de salida de relu().
Aplica la función relu() a node_0_input para calcular node_0_output.
Aplica la función relu() a node_1_input para calcular node_1_output.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Editar y ejecutar código