Previsione di testo con le LSTM

Nei prossimi esercizi costruirai un piccolo modello LSTM in grado di prevedere la parola successiva usando un piccolo insieme di dati testuali. Questo insieme contiene citazioni ripulite dai film The Lord of the Ring. Le trovi nella variabile text.

Trasformerai questo text in sequences di lunghezza 4 e userai il Tokenizer di Keras per preparare le caratteristiche (feature) e le etichette per il tuo modello!

Il Tokenizer di Keras è già importato e pronto all'uso. Assegna un numero univoco a ogni parola univoca e memorizza le associazioni in un dizionario. Questo è importante perché il modello lavora con numeri, ma poi vorremo decodificare i numeri di output di nuovo in parole.

Questo esercizio fa parte del corso

Introduzione al Deep Learning con Keras

Visualizza corso

Istruzioni dell'esercizio

Dividi il testo in un array di parole usando .split().
Crea frasi da 4 parole ciascuna, spostandoti di una parola alla volta.
Istanzia un Tokenizer(), poi adattalo alle frasi con .fit_on_texts().
Trasforma sentences in una sequenza di numeri chiamando .texts_to_sequences().

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Split text into an array of words 
words = ____.____

# Make sentences of 4 words each, moving one word at a time
sentences = []
for i in range(4, len(words)):
  sentences.append(' '.join(words[i-____:i]))

# Instantiate a Tokenizer, then fit it on the sentences
tokenizer = ____
tokenizer.____(____)

# Turn sentences into a sequence of numbers
sequences = tokenizer.____(____)
print("Sentences: \n {} \n Sequences: \n {}".format(sentences[:5],sequences[:5]))

Modifica ed esegui il codice

Questo esercizio fa parte del corso

Introduzione al Deep Learning con Keras

IntermediárioNível de habilidade

4.8+

Inizia il corso gratuitamente

In questo primo capitolo farai conoscenza con le reti neurali, capirai quali tipi di problemi possono risolvere e quando usarle. Costruirai anche diverse reti e salverai la Terra addestrando un modello di regressione che approssima l'orbita di un meteorite in avvicinamento!

Exercise 1: Che cos'è Keras?Exercise 2: Descrivere Keras Exercise 3: Useresti il deep learning?Exercise 4: Il tuo primo neural network Exercise 5: Ciao, reti!Exercise 6: Contare i parametri Exercise 7: Costruisci come mostrato!Exercise 8: Sopravvivere a un impatto meteorico Exercise 9: Definire un modello Exercise 10: Addestramento Exercise 11: Prevedere l'orbita!

Alla fine di questo capitolo saprai come risolvere con le reti neurali problemi binari, multiclasse e multilabel. Lo farai affrontando sfide come individuare banconote false, decidere chi ha lanciato quale freccetta su un bersaglio e costruire un sistema intelligente per irrigare la tua fattoria. Inoltre, saprai tracciare le metriche di addestramento del modello e interrompere l'addestramento salvando i modelli quando non migliorano più.

Exercise 1: Classificazione binaria Exercise 2: Esplorare le banconote in dollari Exercise 3: Un modello di classificazione binaria Exercise 4: Questa banconota è falsa?Exercise 5: Classificazione multiclasse Exercise 6: Un modello multiclasse Exercise 7: Prepara il tuo insieme di dati Exercise 8: Allenare i lanciatori di freccette Exercise 9: Predizioni softmax Exercise 10: Classificazione multi-etichetta Exercise 11: Una macchina per l'irrigazione Exercise 12: Addestramento con etichette multiple Exercise 13: Callback di Keras Exercise 14: La callback di history Exercise 15: Early stopping del tuo modello Exercise 16: Una combinazione di callback

Nei capitoli precedenti hai addestrato molti modelli! Ora imparerai a interpretare le curve di apprendimento per capire come si comportano durante l'addestramento. Visualizzerai anche gli effetti delle funzioni di attivazione, delle dimensioni dei batch e della batch normalization. Infine, imparerai a eseguire l'ottimizzazione automatica degli iperparametri dei modelli Keras usando sklearn.

Exercise 1: Curve di apprendimento Exercise 2: Imparare le cifre Exercise 3: Il modello sta facendo overfitting?Exercise 4: Ci servono più dati?Exercise 5: Funzioni di attivazione Exercise 6: Funzioni di attivazione diverse Exercise 7: Confrontare le funzioni di attivazione Exercise 8: Confrontare le funzioni di attivazione II Exercise 9: Dimensione del batch e batch normalization Exercise 10: Modificare le dimensioni del batch Exercise 11: Batch normalization su un modello già visto Exercise 12: Effetti della batch normalization Exercise 13: Ottimizzazione degli iperparametri Exercise 14: Preparare un modello per il tuning Exercise 15: Ottimizzare i parametri del modello Exercise 16: Addestramento con cross-validation

È il momento di conoscere architetture più avanzate! Creerai un autoencoder per ricostruire immagini rumorose, visualizzerai le attivazioni di una convolutional neural network, userai modelli profondi pre-addestrati per classificare immagini e approfondirai le recurrent neural network e il lavoro con il testo costruendo una rete che predice la parola successiva in una frase.

Exercise 1: Tensori, layer e autoencoder Exercise 2: È un flusso di tensori Exercise 3: Separazione neurale Exercise 4: Costruire un autoencoder Exercise 5: Rimuovere il rumore come un autoencoder Exercise 6: Introduzione alle CNN Exercise 7: Costruire un modello CNN Exercise 8: Osservare le convoluzioni Exercise 9: Preparare l'immagine di input Exercise 10: Usare un modello reale Exercise 11: Introduzione alle LSTM Exercise 12: Previsione di testo con le LSTM

Esercizio attuale

Exercise 13: Costruisci il tuo modello LSTM Exercise 14: Decodifica le tue previsioni Exercise 15: Metti alla prova il tuo modello!Exercise 16: Hai finito!