Funcția de activare ReLU

Așa cum a explicat Dan în videoclip, o „funcție de activare" este o funcție aplicată la fiecare nod. Aceasta transformă intrarea nodului într-o ieșire.

Funcția de activare liniară rectificată (numită ReLU) s-a dovedit a fi baza unor rețele cu performanțe foarte ridicate. Această funcție primește un singur număr ca intrare, returnând 0 dacă valoarea este negativă și valoarea respectivă dacă este pozitivă.

Iată câteva exemple:
relu(3) = 3
relu(-3) = 0

Acest exercițiu face parte din cursul

Introducere în Deep Learning în Python

Vezi cursul

Instrucțiuni pentru exercițiu

Completează definiția funcției relu():
- Folosește funcția max() pentru a calcula valoarea returnată de relu().
Aplică funcția relu() asupra node_0_input pentru a calcula node_0_output.
Aplică funcția relu() asupra node_1_input pentru a calcula node_1_output.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Editează și rulează codul