Crie vetores de frases e próximos caracteres

Esse exercício quer mostrar como é importante preparar os dados. Você vai usar textos com frases do personagem Sheldon, da série The Big Bang Theory, como entrada e vai criar vetores de índices de frases e próximos caracteres que são necessários antes de criar um modelo de geração de texto.

O texto está disponível na variável sheldon, assim como o vocabulário (caracteres) na variável vocabulary e os hiperparâmetros chars_window e step definidos com os valores 20 e 3. Isso quer dizer que uma sequência de 20 caracteres vai ser usada pra prever o próximo, e a janela vai mudar 3 caracteres a cada repetição.

Além disso, o pacote pandas como pd é carregado no ambiente.

Este exercício faz parte do curso

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

Instruções do exercício

Divida o texto por quebras de linha para percorrer as frases.
Repita até o final da frase menos chars_window.
Adicione a parte da frase que tem os caracteres “ chars_window ” à variável “ sentences ” e adicione o próximo caractere à variável “ next_chars ”.
Usa os vetores que você conseguiu para criar uma matriz quadrada de pd.DataFrame() e imprima as primeiras linhas dela.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Instantiate the vectors
sentences = []
next_chars = []
# Loop for every sentence
for sentence in sheldon.____:
    # Get 20 previous chars and next char; then shift by step
    for i in range(0, len(sentence) - ____, step):
        sentences.append(sentence[i:i + ____])
        next_chars.append(sentence[____ + chars_window])

# Define a Data Frame with the vectors
df = pd.DataFrame({'sentence': ____, 'next_char': ____})

# Print the initial rows
print(df.head())

Editar e executar o código

Este exercício faz parte do curso

Redes Neurais Recorrentes (RNNs) para Modelagem de Linguagem com Keras

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai aprender o básico sobre Redes Neurais Recorrentes (RNN). Começando com alguns pré-requisitos, continuando com a compreensão de como as informações fluem pela rede e, finalmente, vendo como implementar esses modelos com o Keras na tarefa de classificação de sentimentos.

Exercise 1: Introdução ao curso Exercise 2: Comparando o número de parâmetros de RNN e ANN Exercise 3: Análise de sentimento Exercise 4: Modelos sequência a sequência Exercise 5: Introdução aos modelos de linguagem Exercise 6: Se acostumando com dados de texto Exercise 7: Preparando dados de texto para entrada no modelo Exercise 8: Transformando um texto novo Exercise 9: Introdução à RNN dentro do Keras Exercise 10: Modelos Keras Exercise 11: Pré-processamento Keras Exercise 12: Seu primeiro modelo RNN

Você vai aprender sobre os problemas de gradiente desaparecendo e explodindo, que aparecem bastante em RNNs, e como lidar com eles usando as células GRU e LSTM. Além disso, você vai criar camadas de incorporação para modelos de linguagem e revisitar a tarefa de classificação de sentimentos.

Exercise 1: Desaparecimento e explosão de gradientes Exercise 2: Problema de gradiente explosivo Exercise 3: Problema do gradiente desaparecido Exercise 4: Células GRU e LSTM Exercise 5: As células GRU são melhores do que as simples RNN.Exercise 6: Empilhando camadas RNN Exercise 7: A camada de incorporação Exercise 8: Comparando o número de parâmetros Exercise 9: Aprendizado por transferência Exercise 10: As incorporações melhoram o desempenho Exercise 11: Revisitando a classificação de sentimentos Exercise 12: Melhor classificação do sentimento Exercise 13: Usando a camada CNN

Depois, neste capítulo, você vai aprender como preparar os dados para a tarefa de classificação multiclasse, além das diferenças entre classificação multiclasse e classificação binária (análise de sentimentos). Por fim, você vai aprender a criar modelos e medir o desempenho deles com o Keras.

Exercise 1: Pré-processamento de dados Exercise 2: Prepare os vetores de etiqueta Exercise 3: Processar os dados antes Exercise 4: Aprendizado por transferência para modelos de linguagem Exercise 5: Ponto de partida da aprendizagem por transferência Exercise 6: Word2Vec Exercise 7: Modelos de classificação multiclasse Exercise 8: Explorando o conjunto de dados 20 News Groups Exercise 9: Classificando artigos de notícias Exercise 10: Avaliando o desempenho do modelo Exercise 11: Compromisso entre precisão e recall Exercise 12: Precisão ou recuperação, essa é a questão Exercise 13: Desempenho em classificação multiclasse

Este capítulo apresenta duas aplicações dos modelos RNN: Geração de texto e tradução automática neural. Você vai aprender a preparar os dados de texto no formato que os modelos precisam. O modelo Text Generation é usado pra reproduzir a maneira de falar de um personagem e vai ser divertido imitar o Sheldon, da série The Big Bang Theory. A tradução automática neural é usada, por exemplo, pelo Google Tradutor, num modelo bem mais complexo. Neste capítulo, você vai criar um modelo que traduz pequenas frases do português para o inglês.

Exercise 1: Modelos de sequência para sequência Exercise 2: Exemplos de geração de texto Exercise 3: Exemplo de NMT Exercise 4: A função de geração de texto Exercise 5: Adivinhar o próximo caractere Exercise 6: Crie frases com contexto Exercise 7: Alterar a escala de probabilidade Exercise 8: Modelos de geração de texto Exercise 9: Crie vetores de frases e próximos caracteres

Exercício atual

Exercise 10: Preparando os dados para o treinamento Exercise 11: Criando o modelo de geração de texto Exercise 12: Tradução automática por redes neurais Exercise 13: Preparando o texto de entrada Exercise 14: Preparando o texto final Exercise 15: Traduzir do português para o inglês Exercise 16: Parabéns!