Efectele normalizării pe loturi

Normalizarea pe loturi (batch normalization) tinde să accelereze viteza de învățare a modelelor și să stabilizeze curbele lor de învățare. Să vedem cum se compară două modele identice – unul cu normalizare pe loturi și unul fără.

Modelul pe care tocmai l-ai construit, batchnorm_model, este deja încărcat. O copie exactă a acestuia fără normalizare pe loturi, standard_model, este de asemenea disponibilă. Poți verifica funcția summary() a fiecăruia în consolă. X_train, y_train, X_test și y_test sunt și ele încărcate, astfel că poți antrena ambele modele.

Vei compara curbele de învățare ale acurateții pentru ambele modele, reprezentându-le grafic cu compare_histories_acc().

Poți inspecta funcția lipind show_code(compare_histories_acc) în consolă.

Acest exercițiu face parte din cursul

Introducere în Deep Learning cu Keras

Instrucțiuni pentru exercițiu

Antrenează standard_model timp de 10 epoci, transmițând datele de antrenament și de validare, și stochează istoricul în h1_callback.
Antrenează batchnorm_model timp de 10 epoci, transmițând datele de antrenament și de validare, și stochează istoricul în h2_callback.
Apelează compare_histories_acc transmițând h1_callback și h2_callback.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Train your standard model, storing its history callback
h1_callback = standard_model.fit(____, ____, validation_data=(____,____), epochs=____, verbose=0)

# Train the batch normalized model you recently built, store its history callback
h2_callback = batchnorm_model.fit(____, ____, validation_data=____, epochs=____, verbose=0)

# Call compare_histories_acc passing in both model histories
compare_histories_acc(____, ____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Introducere în Deep Learning cu Keras

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest prim capitol, vei face cunoștință cu rețelele neuronale, vei înțelege ce tipuri de probleme pot rezolva și când să le folosești. Vei construi, de asemenea, mai multe rețele și vei salva Pământul antrenând un model de regresie care aproximează orbita unui meteorit ce se apropie de noi!

Exercise 1: Ce este Keras?Exercise 2: Descrierea Keras Exercise 3: Ai folosi învățarea profundă?Exercise 4: Prima ta rețea neuronală Exercise 5: Salut, rețele!Exercise 6: Numărarea parametrilor Exercise 7: Construiește după model!Exercise 8: Supraviețuiește unui impact de meteor Exercise 9: Specificarea unui model Exercise 10: Antrenament Exercise 11: Prezicerea orbitei!

La sfârșitul acestui capitol, vei ști cum să rezolvi probleme binare, multiclasă și multi-etichetă cu rețele neuronale. Tot acest lucru prin rezolvarea unor probleme precum detectarea bancnotelor false, deciderea cine a aruncat ce săgeată la o țintă și construirea unui sistem inteligent de irigare a fermei tale. Vei putea, de asemenea, să reprezentați grafic metricile de antrenament ale modelului și să oprești antrenamentul și să salvezi modelele atunci când acestea nu mai progresează.

Exercise 1: Clasificare binară Exercise 2: Explorarea bancnotelor Exercise 3: Un model de clasificare binară Exercise 4: Este această bancnotă falsă?Exercise 5: Clasificare multi-clasă Exercise 6: Un model multi-clasă Exercise 7: Pregătește setul de date Exercise 8: Antrenare pe aruncătorii de săgeți Exercise 9: Predicții Softmax Exercise 10: Clasificare multi-etichetă Exercise 11: O mașină de irigat Exercise 12: Antrenament cu etichete multiple Exercise 13: Callback-uri Keras Exercise 14: Callback-ul history Exercise 15: Oprirea anticipată a modelului Exercise 16: O combinație de callback-uri

În capitolele anterioare, ai antrenat o mulțime de modele! Acum vei învăța cum să interpretezi curbele de învățare pentru a înțelege modelele pe măsură ce se antrenează. Vei vizualiza, de asemenea, efectele funcțiilor de activare, ale dimensiunilor de lot și ale normalizării pe loturi. În final, vei învăța cum să efectuezi optimizarea automată a hiperparametrilor pentru modelele tale Keras folosind sklearn.

Exercise 1: Curbe de învățare Exercise 2: Recunoașterea cifrelor Exercise 3: Modelul face overfitting?Exercise 4: Avem nevoie de mai multe date?Exercise 5: Funcții de activare Exercise 6: Funcții de activare diferite Exercise 7: Compararea funcțiilor de activare Exercise 8: Compararea funcțiilor de activare II Exercise 9: Dimensiunea lotului și normalizarea pe loturi Exercise 10: Modificarea dimensiunii batch-ului Exercise 11: Normalizarea pe loturi a unui model familiar Exercise 12: Efectele normalizării pe loturi

Exercițiul curent

Exercise 13: Optimizarea hiperparametrilor Exercise 14: Pregătirea unui model pentru ajustarea hiperparametrilor Exercise 15: Ajustarea parametrilor modelului Exercise 16: Antrenare cu validare încrucișată

A venit momentul să explorezi arhitecturi mai avansate! Vei crea un autoencoder pentru a reconstrui imagini zgomotoase, vei vizualiza activările rețelelor neuronale convoluționale, vei folosi modele pre-antrenate de dimensiuni mari pentru a clasifica imagini și vei afla mai multe despre rețelele neuronale recurente și lucrul cu text, construind o rețea care prezice următorul cuvânt dintr-o propoziție.

Exercise 1: Tensori, straturi și autoencodere Exercise 2: Un flux de tensori Exercise 3: Separare neuronală Exercise 4: Construirea unui autoencoder Exercise 5: Eliminarea zgomotului cu un autoencoder Exercise 6: Introducere în CNN-uri Exercise 7: Construirea unui model CNN Exercise 8: Explorând convoluțiile Exercise 9: Pregătirea imaginii de intrare Exercise 10: Folosind un model din lumea reală Exercise 11: Introducere în LSTM-uri Exercise 12: Predicția textului cu LSTM-uri Exercise 13: Construiește modelul tău LSTM Exercise 14: Decodifică predicțiile Exercise 15: Testează-ți modelul!Exercise 16: Ai terminat!