Effetti della batch normalization

La batch normalization tende ad aumentare la velocità di apprendimento dei modelli e a rendere più stabili le loro learning curve. Vediamo come si comportano due modelli identici, uno con e uno senza batch normalization.

Il modello che hai appena costruito, batchnorm_model, è caricato e pronto all'uso. È disponibile anche una sua copia esatta senza batch normalization: standard_model. Puoi controllare il loro summary() nella console. Sono già caricati anche X_train, y_train, X_test e y_test, così puoi addestrare entrambi i modelli.

Confronterai le learning curve dell'accuratezza per entrambi i modelli tracciandole con compare_histories_acc().

Puoi consultare la funzione incollando show_code(compare_histories_acc) nella console.

Questo esercizio fa parte del corso

Introduzione al Deep Learning con Keras

Visualizza corso

Istruzioni dell'esercizio

Addestra standard_model per 10 epoche passando i dati di training e di validazione, salvando la sua history in h1_callback.
Addestra batchnorm_model per 10 epoche passando i dati di training e di validazione, salvando la sua history in h2_callback.
Chiama compare_histories_acc passando h1_callback e h2_callback.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Train your standard model, storing its history callback
h1_callback = standard_model.fit(____, ____, validation_data=(____,____), epochs=____, verbose=0)

# Train the batch normalized model you recently built, store its history callback
h2_callback = batchnorm_model.fit(____, ____, validation_data=____, epochs=____, verbose=0)

# Call compare_histories_acc passing in both model histories
compare_histories_acc(____, ____)

Modifica ed esegui il codice

Questo esercizio fa parte del corso

Introduzione al Deep Learning con Keras

IntermediárioNível de habilidade

4.8+

Inizia il corso gratuitamente

In questo primo capitolo farai conoscenza con le reti neurali, capirai quali tipi di problemi possono risolvere e quando usarle. Costruirai anche diverse reti e salverai la Terra addestrando un modello di regressione che approssima l'orbita di un meteorite in avvicinamento!

Exercise 1: Che cos'è Keras?Exercise 2: Descrivere Keras Exercise 3: Useresti il deep learning?Exercise 4: Il tuo primo neural network Exercise 5: Ciao, reti!Exercise 6: Contare i parametri Exercise 7: Costruisci come mostrato!Exercise 8: Sopravvivere a un impatto meteorico Exercise 9: Definire un modello Exercise 10: Addestramento Exercise 11: Prevedere l'orbita!

Alla fine di questo capitolo saprai come risolvere con le reti neurali problemi binari, multiclasse e multilabel. Lo farai affrontando sfide come individuare banconote false, decidere chi ha lanciato quale freccetta su un bersaglio e costruire un sistema intelligente per irrigare la tua fattoria. Inoltre, saprai tracciare le metriche di addestramento del modello e interrompere l'addestramento salvando i modelli quando non migliorano più.

Exercise 1: Classificazione binaria Exercise 2: Esplorare le banconote in dollari Exercise 3: Un modello di classificazione binaria Exercise 4: Questa banconota è falsa?Exercise 5: Classificazione multiclasse Exercise 6: Un modello multiclasse Exercise 7: Prepara il tuo insieme di dati Exercise 8: Allenare i lanciatori di freccette Exercise 9: Predizioni softmax Exercise 10: Classificazione multi-etichetta Exercise 11: Una macchina per l'irrigazione Exercise 12: Addestramento con etichette multiple Exercise 13: Callback di Keras Exercise 14: La callback di history Exercise 15: Early stopping del tuo modello Exercise 16: Una combinazione di callback

Nei capitoli precedenti hai addestrato molti modelli! Ora imparerai a interpretare le curve di apprendimento per capire come si comportano durante l'addestramento. Visualizzerai anche gli effetti delle funzioni di attivazione, delle dimensioni dei batch e della batch normalization. Infine, imparerai a eseguire l'ottimizzazione automatica degli iperparametri dei modelli Keras usando sklearn.

Exercise 1: Curve di apprendimento Exercise 2: Imparare le cifre Exercise 3: Il modello sta facendo overfitting?Exercise 4: Ci servono più dati?Exercise 5: Funzioni di attivazione Exercise 6: Funzioni di attivazione diverse Exercise 7: Confrontare le funzioni di attivazione Exercise 8: Confrontare le funzioni di attivazione II Exercise 9: Dimensione del batch e batch normalization Exercise 10: Modificare le dimensioni del batch Exercise 11: Batch normalization su un modello già visto Exercise 12: Effetti della batch normalization

Esercizio attuale

Exercise 13: Ottimizzazione degli iperparametri Exercise 14: Preparare un modello per il tuning Exercise 15: Ottimizzare i parametri del modello Exercise 16: Addestramento con cross-validation

È il momento di conoscere architetture più avanzate! Creerai un autoencoder per ricostruire immagini rumorose, visualizzerai le attivazioni di una convolutional neural network, userai modelli profondi pre-addestrati per classificare immagini e approfondirai le recurrent neural network e il lavoro con il testo costruendo una rete che predice la parola successiva in una frase.

Exercise 1: Tensori, layer e autoencoder Exercise 2: È un flusso di tensori Exercise 3: Separazione neurale Exercise 4: Costruire un autoencoder Exercise 5: Rimuovere il rumore come un autoencoder Exercise 6: Introduzione alle CNN Exercise 7: Costruire un modello CNN Exercise 8: Osservare le convoluzioni Exercise 9: Preparare l'immagine di input Exercise 10: Usare un modello reale Exercise 11: Introduzione alle LSTM Exercise 12: Previsione di testo con le LSTM Exercise 13: Costruisci il tuo modello LSTM Exercise 14: Decodifica le tue previsioni Exercise 15: Metti alla prova il tuo modello!Exercise 16: Hai finito!