Die rektifizierte lineare Aktivierungsfunktion

Wie Dan dir im Video erklärt hat, ist eine „Aktivierungsfunktion“ eine Funktion, die an jedem Knoten angewendet wird. Es wandelt die Eingabe des Knotens in eine Ausgabe um.

Die rektifizierte lineare Aktivierungsfunktion ( ReLU genannt) hat gezeigt, dass sie zu echt leistungsstarken Netzwerken führt. Diese Funktion nimmt eine einzelne Zahl als Eingabe und gibt 0 zurück, wenn die Eingabe negativ ist, und die Eingabe selbst, wenn die Eingabe positiv ist.

Hier sind ein paar Beispiele:
relu(3) = 3
relu(-3) = 0

Diese Übung ist Teil des Kurses

Einführung in Deep Learning mit Python

Kurs anzeigen

Anleitung zur Übung

Füll die Definition der Funktion „ relu() “ aus:
- Benutze die Funktion „ max() “, um den Wert für die Ausgabe von „ relu() “ zu berechnen.
Wende die Funktion „ relu() “ auf „ node_0_input “ an, um „ node_0_output “ zu berechnen.
Wende die Funktion „ relu() “ auf „ node_1_input “ an, um „ node_1_output “ zu berechnen.

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Code bearbeiten und ausführen