Activatiefuncties vergelijken

Activatiefuncties vergelijken vraagt wat code, maar niets wat je niet kunt!

Je gaat verschillende activatiefuncties uitproberen op het multi-labelmodel dat je in hoofdstuk 2 bouwde voor je irrigatiemachine op de boerderij. De functie get_model('relu') geeft een kopie van dit model terug en past de activatiefunctie 'relu' toe op de verborgen laag.

Je loopt door meerdere activatiefuncties heen, maakt voor elke functie een nieuw model en traint het. Door de history-callback in een dictionary op te slaan, kun je in de volgende oefening visualiseren welke activatiefunctie het beste presteerde!

X_train, y_train, X_test, y_test staan klaar om te gebruiken bij het trainen van je modellen.

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met Keras

Cursus bekijken

Oefeninstructies

Vul de array met activatiefuncties aan met relu, leaky_relu, sigmoid en tanh.
Haal in elke iteratie een nieuw model op met get_model() en geef de huidige activatiefunctie als parameter door.
Train je model met de trainings- en validation_data, gebruik 20 epochs en zet verbose op 0.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Activation functions to try
activations = [____, ____, ____, ____]

# Loop over the activation functions
activation_results = {}

for act in activations:
  # Get a new model with the current activation
  model = ____
  # Fit the model and store the history results
  h_callback = ____
  activation_results[act] = h_callback

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met Keras

SkillTag.level.intermediateSkillTag.label

4.8+

Begin de cursus gratis

In this first chapter, you will get introduced to neural networks, understand what kind of problems they can solve, and when to use them. You will also build several networks and save the earth by training a regression model that approximates the orbit of a meteor that is approaching us!

Exercise 1: What is Keras?Exercise 2: Describing Keras Exercise 3: Would you use deep learning?Exercise 4: Your first neural network Exercise 5: Hello nets!Exercise 6: Counting parameters Exercise 7: Build as shown!Exercise 8: Surviving a meteor strike Exercise 9: Specifying a model Exercise 10: Training Exercise 11: Predicting the orbit!

By the end of this chapter, you will know how to solve binary, multi-class, and multi-label problems with neural networks. All of this by solving problems like detecting fake dollar bills, deciding who threw which dart at a board, and building an intelligent system to water your farm. You will also be able to plot model training metrics and to stop training and save your models when they no longer improve.

Exercise 1: Binary classification Exercise 2: Exploring dollar bills Exercise 3: A binary classification model Exercise 4: Is this dollar bill fake ?Exercise 5: Multi-class classification Exercise 6: A multi-class model Exercise 7: Prepare your dataset Exercise 8: Training on dart throwers Exercise 9: Softmax predictions Exercise 10: Multi-label classification Exercise 11: An irrigation machine Exercise 12: Training with multiple labels Exercise 13: Keras callbacks Exercise 14: The history callback Exercise 15: Early stopping your model Exercise 16: A combination of callbacks

In the previous chapters, you've trained a lot of models! You will now learn how to interpret learning curves to understand your models as they train. You will also visualize the effects of activation functions, batch-sizes, and batch-normalization. Finally, you will learn how to perform automatic hyperparameter optimization to your Keras models using sklearn.

Exercise 1: Leercurves Exercise 2: Cijfers leren herkennen Exercise 3: Overfit het model?Exercise 4: Hebben we meer data nodig?Exercise 5: Activatiefuncties Exercise 6: Verschillende activatiefuncties Exercise 7: Activatiefuncties vergelijken

Huidige oefening

Exercise 8: Activatiefuncties vergelijken II Exercise 9: Batchgrootte en batch-normalisatie Exercise 10: Batch-groottes aanpassen Exercise 11: Batch-normalisatie toepassen op een bekend model Exercise 12: Effecten van batch-normalization Exercise 13: Hyperparameterafstemming Exercise 14: Een model voorbereiden op tuning Exercise 15: Parameters van het model afstemmen Exercise 16: Trainen met cross-validatie

It's time to get introduced to more advanced architectures! You will create an autoencoder to reconstruct noisy images, visualize convolutional neural network activations, use deep pre-trained models to classify images and learn more about recurrent neural networks and working with text as you build a network that predicts the next word in a sentence.

Exercise 1: Tensors, layers, and autoencoders Exercise 2: It's a flow of tensors Exercise 3: Neural separation Exercise 4: Building an autoencoder Exercise 5: De-noising like an autoencoder Exercise 6: Intro to CNNs Exercise 7: Building a CNN model Exercise 8: Looking at convolutions Exercise 9: Preparing your input image Exercise 10: Using a real world model Exercise 11: Intro to LSTMs Exercise 12: Text prediction with LSTMs Exercise 13: Build your LSTM model Exercise 14: Decode your predictions Exercise 15: Test your model!Exercise 16: You're done!