Trasformare un nuovo testo
In questo esercizio, trasformerai un nuovo testo in sequenze di indici numerici usando i dizionari creati in precedenza.
Questo è utile quando hai già un modello addestrato e vuoi applicarlo a un nuovo insieme di dati. I passaggi di preprocessing eseguiti sui dati di training devono essere applicati anche al nuovo testo, così il modello può fare previsioni/classificazioni.
Qui userai anche un token speciale '<UKN/>' per rappresentare le parole che non sono nel vocabolario. In genere, questi token speciali occupano i primi indici dei dizionari, la posizione 0.
Le variabili word_to_index, index_to_word e vocabulary sono già caricate nell'ambiente. Anche la variabile con il nuovo testo è caricata come new_text. Il nuovo testo è stato stampato così puoi dargli un'occhiata.
Questo esercizio fa parte del corso
Reti Neurali Ricorrenti (RNN) per il Language Modeling con Keras
Istruzioni dell'esercizio
- Itera sulla lista
new_textche contiene le frasi. - Imposta a
0l'indice nel caso in cui la parola non sia presente nel dizionario. - Aggiungi la frase con gli indici alla variabile
new_text_split. - Converti gli indici di nuovo in testo usando il dizionario
index_to_word.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Loop through the sentences and get indexes
new_text_split = []
for sentence in ____:
sent_split = []
for wd in sentence.split(' '):
index = word_to_index.get(wd, ____)
sent_split.append(index)
new_text_split.append(____)
# Print the first sentence's indexes
print(new_text_split[0])
# Print the sentence converted using the dictionary
print(' '.join([index_to_word[____] for index in new_text_split[0]]))