Die Rectified Linear Activation Funktion

Wie Dan dir im Video erklärt hat, ist eine „Aktivierungsfunktion“ eine Funktion, die an jedem Knoten angewendet wird. Sie wandelt die Eingabe des Knotens in eine Ausgabe um.

Die Rectified Linear Activation Function (ReLU genannt für Rectified Linear Unit) hat sich als sehr leistungsfähig für neurale Netze erwiesen. Diese Funktion nimmt eine einzelne Zahl als Eingabe, gibt 0 zurück, wenn die Eingabe negativ ist, und die Eingabe selbst, wenn sie positiv ist.

Hier ein paar Beispiele:
relu(3) = 3
relu(-3) = 0

Diese Übung ist Teil des Kurses

Einführung in Deep Learning mit Python

Kurs anzeigen

Anleitung zur Übung

Vervollständige die Definition der relu()-Funktion:
- Verwende die Funktion max(), um den Wert für die Ausgabe von relu() zu berechnen.
Wende die Funktion relu() auf node_0_input an, um node_0_output zu berechnen.
Wende die Funktion relu() auf node_1_input an, um node_1_output zu berechnen.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Code bearbeiten und ausführen