Preparando dados de texto para entrada no modelo

Antes, você aprendeu a criar dicionários de índices para palavras e vice-versa. Neste exercício, você vai dividir o texto por caracteres e continuar a preparar os dados para o aprendizado supervisionado.

Dividir os textos em caracteres pode parecer estranho, mas é algo que se faz bastante na geração de textos. Além disso, o processo de preparação dos dados é o mesmo, a única diferença é como dividir os textos.

Você vai criar os dados de treinamento com uma lista de textos de comprimento fixo e seus rótulos, que são os próximos caracteres correspondentes.

Você vai continuar usando o conjunto de dados com citações do Sheldon (The Big Bang Theory), que tá na variável “ sheldon_quotes ”.

A função “ print_examples() ” mostra os pares pra você ver como os dados foram transformados. Para mais detalhes, dá uma olhada em help().

Este exercício faz parte do curso

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Instruções do exercício

Defina step igual a 2 e chars_window igual a 10.
Adicione a próxima frase à variável “ sentences ”.
Adicione a posição correta do texto “ sheldon ” à variável “ next_chars ”.
Use a função “ print_examples() ” para imprimir frases e os próximos caracteres de 10.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create lists to keep the sentences and the next character
sentences = []   # ~ Training data
next_chars = []  # ~ Training labels

# Define hyperparameters
step = ____          # ~ Step to take when reading the texts in characters
chars_window = ____ # ~ Number of characters to use to predict the next one  

# Loop over the text: length `chars_window` per time with step equal to `step`
for i in range(0, len(sheldon_quotes) - chars_window, step):
    sentences.____(sheldon_quotes[i:i + chars_window])
    next_chars.append(sheldon_quotes[____])

# Print 10 pairs
print_examples(____, ____, 10)

Editar e executar o código

Este exercício faz parte do curso

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai aprender o básico sobre Redes Neurais Recorrentes (RNN). Começando com alguns pré-requisitos, continuando com a compreensão de como as informações fluem pela rede e, finalmente, vendo como implementar esses modelos com o Keras na tarefa de classificação de sentimentos.

Exercise 1: Introdução ao curso Exercise 2: Comparando o número de parâmetros de RNN e ANN Exercise 3: Análise de sentimento Exercise 4: Modelos sequência a sequência Exercise 5: Introdução aos modelos de linguagem Exercise 6: Se acostumando com dados de texto Exercise 7: Preparando dados de texto para entrada no modelo

Exercício atual

Exercise 8: Transformando um texto novo Exercise 9: Introdução à RNN dentro do Keras Exercise 10: Modelos Keras Exercise 11: Pré-processamento Keras Exercise 12: Seu primeiro modelo RNN

Você vai aprender sobre os problemas de gradiente desaparecendo e explodindo, que aparecem bastante em RNNs, e como lidar com eles usando as células GRU e LSTM. Além disso, você vai criar camadas de incorporação para modelos de linguagem e revisitar a tarefa de classificação de sentimentos.

Exercise 1: Desaparecimento e explosão de gradientes Exercise 2: Problema de gradiente explosivo Exercise 3: Problema do gradiente desaparecido Exercise 4: Células GRU e LSTM Exercise 5: As células GRU são melhores do que as simples RNN.Exercise 6: Empilhando camadas RNN Exercise 7: A camada de incorporação Exercise 8: Comparando o número de parâmetros Exercise 9: Aprendizado por transferência Exercise 10: As incorporações melhoram o desempenho Exercise 11: Revisitando a classificação de sentimentos Exercise 12: Melhor classificação do sentimento Exercise 13: Usando a camada CNN

Depois, neste capítulo, você vai aprender como preparar os dados para a tarefa de classificação multiclasse, além das diferenças entre classificação multiclasse e classificação binária (análise de sentimentos). Por fim, você vai aprender a criar modelos e medir o desempenho deles com o Keras.

Exercise 1: Pré-processamento de dados Exercise 2: Prepare os vetores de etiqueta Exercise 3: Processar os dados antes Exercise 4: Aprendizado por transferência para modelos de linguagem Exercise 5: Ponto de partida da aprendizagem por transferência Exercise 6: Word2Vec Exercise 7: Modelos de classificação multiclasse Exercise 8: Explorando o conjunto de dados 20 News Groups Exercise 9: Classificando artigos de notícias Exercise 10: Avaliando o desempenho do modelo Exercise 11: Compromisso entre precisão e recall Exercise 12: Precisão ou recuperação, essa é a questão Exercise 13: Desempenho em classificação multiclasse

Este capítulo apresenta duas aplicações dos modelos RNN: Geração de texto e tradução automática neural. Você vai aprender a preparar os dados de texto no formato que os modelos precisam. O modelo Text Generation é usado pra reproduzir a maneira de falar de um personagem e vai ser divertido imitar o Sheldon, da série The Big Bang Theory. A tradução automática neural é usada, por exemplo, pelo Google Tradutor, num modelo bem mais complexo. Neste capítulo, você vai criar um modelo que traduz pequenas frases do português para o inglês.

Exercise 1: Modelos de sequência para sequência Exercise 2: Exemplos de geração de texto Exercise 3: Exemplo de NMT Exercise 4: A função de geração de texto Exercise 5: Adivinhar o próximo caractere Exercise 6: Crie frases com contexto Exercise 7: Alterar a escala de probabilidade Exercise 8: Modelos de geração de texto Exercise 9: Crie vetores de frases e próximos caracteres Exercise 10: Preparando os dados para o treinamento Exercise 11: Criando o modelo de geração de texto Exercise 12: Tradução automática por redes neurais Exercise 13: Preparando o texto de entrada Exercise 14: Preparando o texto final Exercise 15: Traduzir do português para o inglês Exercise 16: Parabéns!