Effets de la normalisation par lots

La normalisation par lots a tendance à accélérer l'apprentissage de nos modèles et à rendre leurs courbes d'apprentissage plus stables. Voyons comment se comparent deux modèles identiques, l'un avec et l'autre sans normalisation par lots.

Le modèle que vous venez de bâtir, batchnorm_model, est déjà chargé et prêt à l'emploi. Une copie conforme sans normalisation par lots, standard_model, est également disponible. Vous pouvez consulter leur summary() dans la console. X_train, y_train, X_test et y_test sont aussi chargés afin que vous puissiez entraîner les deux modèles.

Vous comparerez les courbes d'apprentissage de l'exactitude (accuracy) pour les deux modèles en les traçant avec compare_histories_acc().

Vous pouvez voir la fonction en collant show_code(compare_histories_acc) dans la console.

Cette activité fait partie du cours

Introduction à Deep Learning avec Keras

Instructions de l’exercice

Entraînez standard_model pendant 10 époques en passant les données d'entraînement et de validation, et stockez son historique dans h1_callback.
Entraînez votre batchnorm_model pendant 10 époques en passant les données d'entraînement et de validation, et stockez son historique dans h2_callback.
Appelez compare_histories_acc en passant h1_callback et h2_callback.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Train your standard model, storing its history callback
h1_callback = standard_model.fit(____, ____, validation_data=(____,____), epochs=____, verbose=0)

# Train the batch normalized model you recently built, store its history callback
h2_callback = batchnorm_model.fit(____, ____, validation_data=____, epochs=____, verbose=0)

# Call compare_histories_acc passing in both model histories
compare_histories_acc(____, ____)

Modifier et exécuter le code

Cette activité fait partie du cours

Introduction à Deep Learning avec Keras

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce premier chapitre, vous serez initié aux réseaux neuronaux, vous comprendrez quels types de problèmes ils peuvent résoudre et quand les utiliser. Vous construirez aussi plusieurs réseaux et sauverez la planète en entraînant un modèle de régression qui approxime l'orbite d'un météore qui s'approche de nous !

Exercise 1: Qu'est-ce que Keras ?Exercise 2: Décrire Keras Exercise 3: Utiliseriez-vous le deep learning?Exercise 4: Votre premier réseau de neurones Exercise 5: Bonjour, réseaux !Exercise 6: Compter les paramètres Exercise 7: Reproduisez le modèle illustré!Exercise 8: Survivre à l'impact d'une météorite Exercise 9: Spécifier un modèle Exercise 10: Entraînement Exercise 11: Prédire l'orbite!

À la fin de ce chapitre, vous saurez résoudre des problèmes binaires, multiclasse et multilabel avec des réseaux neuronaux. Vous y parviendrez en relevant des défis comme détecter de faux billets d'un dollar, décider qui a lancé quelle fléchette sur une cible et bâtir un système intelligent pour arroser votre ferme. Vous pourrez aussi tracer les mesures d'entraînement du modèle, arrêter l'entraînement et enregistrer vos modèles lorsqu'ils ne s'améliorent plus.

Exercise 1: Classification binaire Exercise 2: Explorer des billets de banque Exercise 3: Un modèle de classification binaire Exercise 4: Ce billet d'un dollar est-il faux ?Exercise 5: Classification multiclasse Exercise 6: Un modèle multiclasse Exercise 7: Préparer votre jeu de données Exercise 8: Entraîner sur les lanceurs de fléchettes Exercise 9: Prédictions softmax Exercise 10: Classification multilabel Exercise 11: Une machine d'irrigation Exercise 12: Entraîner avec plusieurs étiquettes Exercise 13: Rappels Keras Exercise 14: Le rappel d'historique Exercise 15: Arrêter précocement votre modèle Exercise 16: Une combinaison de callbacks

Dans les chapitres précédents, vous avez entraîné de nombreux modèles ! Vous apprendrez maintenant à interpréter les courbes d'apprentissage pour comprendre vos modèles pendant l'entraînement. Vous visualiserez aussi les effets des fonctions d'activation, des tailles de lot et de la normalisation par lot. Enfin, vous verrez comment effectuer une optimisation automatique des hyperparamètres de vos modèles Keras avec sklearn.

Exercise 1: Courbes d'apprentissage Exercise 2: Apprendre les chiffres Exercise 3: Le modèle fait-il du surapprentissage?Exercise 4: Avons-nous besoin de plus de données ?Exercise 5: Fonctions d'activation Exercise 6: Différentes fonctions d'activation Exercise 7: Comparer les fonctions d'activation Exercise 8: Comparer les fonctions d'activation II Exercise 9: Taille de lot et normalisation par lot Exercise 10: Modifier la taille des lots Exercise 11: Appliquer la normalisation par lot à un modèle familier Exercise 12: Effets de la normalisation par lots

Exercice en cours

Exercise 13: Ajustement des hyperparamètres Exercise 14: Préparer un modèle pour l'optimisation Exercise 15: Ajuster les hyperparamètres du modèle Exercise 16: Entraînement avec validation croisée

Il est temps de découvrir des architectures plus avancées ! Vous créerez un autoencodeur pour reconstituer des images bruitées, visualiserez les activations d'un réseau de neurones convolutif, utiliserez des modèles profonds préentraînés pour classer des images et en apprendrez davantage sur les réseaux neuronaux récurrents et le traitement de texte en bâtissant un réseau qui prédit le prochain mot d'une phrase.

Exercise 1: Tenseurs, couches et autoencodeurs Exercise 2: Un flot de tenseurs Exercise 3: Séparation neuronale Exercise 4: Créer un autoencodeur Exercise 5: Réduction du bruit avec un autoencodeur Exercise 6: Introduction aux CNN Exercise 7: Créer un modèle CNN Exercise 8: Observer les convolutions Exercise 9: Préparer votre image d'entrée Exercise 10: Utiliser un modèle réel Exercise 11: Introduction aux LSTM Exercise 12: Prédiction de texte avec des LSTM Exercise 13: Construire votre modèle LSTM Exercise 14: Décoder vos prédictions Exercise 15: Mettez votre modèle à l'épreuve!Exercise 16: Vous avez terminé !