A função de ativação linear retificada

Como Dan explicou a você no vídeo, uma "função de ativação" é uma função aplicada em cada nó. Ele converte a entrada do nó em alguma saída.

Foi demonstrado que a função de ativação linear retificada (chamada ReLU) leva a redes de desempenho muito alto. Essa função recebe um único número como entrada, retornando 0 se a entrada for negativa e a entrada se for positiva.

Aqui estão alguns exemplos:
relu(3) = 3
relu(-3) = 0

Este exercício faz parte do curso

Introdução à aprendizagem profunda em Python

Ver Curso

Instruções de exercício

Preencha a definição da função relu():
- Use a função max() para calcular o valor da saída de relu().
Aplique a função relu() a node_0_input para calcular node_0_output.
Aplique a função relu() a node_1_input para calcular node_1_output.

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Editar e executar código