Aktivační funkce ReLU

Jak Dan vysvětlil ve videu, „aktivační funkce" je funkce aplikovaná na každý uzel sítě. Převádí vstup uzlu na výstupní hodnotu.

Aktivační funkce rektifikované lineární jednotky (označovaná jako ReLU) se osvědčila jako základ velmi výkonných sítí. Tato funkce přijímá jediné číslo: vrátí 0, pokud je vstup záporný, nebo samotný vstup, pokud je kladný.

Pár příkladů:
relu(3) = 3
relu(-3) = 0

Toto cvičení je součástí kurzu

Úvod do deep learningu v Pythonu

Zobrazit kurz

Pokyny k cvičení

Doplň definici funkce relu():
- Pomocí funkce max() vypočítej výstupní hodnotu funkce relu().
Aplikuj funkci relu() na node_0_input a výsledek ulož do node_0_output.
Aplikuj funkci relu() na node_1_input a výsledek ulož do node_1_output.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def relu(input):
    '''Define your relu activation function here'''
    # Calculate the value for the output of the relu function: output
    output = max(____, ____)
    
    # Return the value just calculated
    return(output)

# Calculate node 0 value: node_0_output
node_0_input = (input_data * weights['node_0']).sum()
node_0_output = ____

# Calculate node 1 value: node_1_output
node_1_input = (input_data * weights['node_1']).sum()
node_1_output = ____

# Put node values into array: hidden_layer_outputs
hidden_layer_outputs = np.array([node_0_output, node_1_output])

# Calculate model output (do not apply relu)
model_output = (hidden_layer_outputs * weights['output']).sum()

# Print model output
print(model_output)

Upravit a spustit kód