Przygotowanie danych do trenowania

W tym ćwiczeniu będziesz kontynuować przygotowanie danych do trenowania modelu. Po utworzeniu tablic zdań i kolejnych znaków musisz przekształcić je na wartości liczbowe, które można wykorzystać w modelu.

Ten krok jest niezbędny, ponieważ modele RNN operują wyłącznie na liczbach, a nie na ciągach znaków. Utworzysz tablice numeryczne, które zawierają zera lub jedynki na pozycjach odpowiadających znakom obecnym w zdaniach. Jedynki (lub True) oznaczają, że dany znak jest obecny, natomiast zera (lub False) wskazują na jego brak na danej pozycji w zdaniu.

Zmienne sentences, next_char, n_vocab, chars_window, num_seqs (liczba zdań w danych treningowych) są już wczytane do środowiska, podobnie jak numpy pod aliasem np.

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Instrukcje do ćwiczenia

Utwórz np.array() wypełnioną zerami o kształcie (liczba zdań, okno znaków, rozmiar słownika).
Użyj słownika char_to_index, aby ustawić pozycję bieżącego znaku na 1.
Ustaw bieżący następny znak na 1.
Wyświetl pierwszą pozycję każdej tablicy.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Instantiate the variables with zeros
numerical_sentences = np.zeros((____, ____, ____), dtype=np.bool)
numerical_next_chars = np.zeros((num_seqs, n_vocab), dtype=np.bool)

# Loop for every sentence
for i, sentence in enumerate(sentences):
  # Loop for every character in sentence
  for t, char in enumerate(sentence):
    # Set position of the character to 1
    numerical_sentences[i, t, ____] = ____
    # Set next character to 1
    ____[i, char_to_index[next_chars[i]]] = 1

# Print the first position of each
print(____, ____, sep="\n")

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy rekurencyjnych sieci neuronowych (RNN). Zaczniesz od niezbędnych wiadomości wstępnych, przejdziesz do zrozumienia przepływu informacji w sieci, a na koniec zobaczysz, jak implementować takie modele w Keras – na przykładzie zadania klasyfikacji sentymentu.

Exercise 1: Wprowadzenie do kursu Exercise 2: Porównanie liczby parametrów sieci RNN i ANN Exercise 3: Analiza sentymentu Exercise 4: Modele sekwencja-do-sekwencji Exercise 5: Wprowadzenie do modeli językowych Exercise 6: Praca z danymi tekstowymi Exercise 7: Przygotowanie danych tekstowych jako wejścia do modelu Exercise 8: Przekształcanie nowego tekstu Exercise 9: Wprowadzenie do RNN w Keras Exercise 10: Modele Keras Exercise 11: Przetwarzanie wstępne w Keras Exercise 12: Twój pierwszy model RNN

Dowiesz się o problemach zanikającego i eksplodującego gradientu, które często pojawiają się w RNN, oraz o tym, jak sobie z nimi radzić za pomocą komórek GRU i LSTM. Poza tym stworzysz warstwy embeddingów dla modeli językowych i powrócisz do zadania klasyfikacji sentymentu.

Exercise 1: Zanikające i eksplodujące gradienty Exercise 2: Problem eksplodujących gradientów Exercise 3: Problem zanikających gradientów Exercise 4: Komórki GRU i LSTM Exercise 5: Komórki GRU są lepsze niż SimpleRNN Exercise 6: Układanie warstw RNN w stos Exercise 7: Warstwa osadzeń (Embedding)Exercise 8: Porównanie liczby parametrów Exercise 9: Transfer learning Exercise 10: Osadzenia poprawiają wyniki Exercise 11: Powrót do klasyfikacji sentymentu Exercise 12: Lepsza klasyfikacja sentymentu Exercise 13: Korzystanie z warstwy CNN

W tym rozdziale nauczysz się przygotowywać dane do zadania klasyfikacji wieloklasowej, a także poznasz różnice między klasyfikacją wieloklasową a binarną (analiza sentymentu). Na koniec zobaczysz, jak tworzyć modele i oceniać ich wydajność w Keras.

Exercise 1: Przetwarzanie wstępne danych Exercise 2: Przygotowanie wektorów etykiet Exercise 3: Przetwarzanie danych Exercise 4: Transfer learning w modelach językowych Exercise 5: Transfer learning jako punkt wyjścia Exercise 6: Word2Vec Exercise 7: Modele klasyfikacji wieloklasowej Exercise 8: Eksploracja zbioru danych 20 News Groups Exercise 9: Klasyfikacja artykułów prasowych Exercise 10: Ocena wydajności modelu Exercise 11: Kompromis między precyzją a czułością Exercise 12: Precyzja czy czułość – oto jest pytanie Exercise 13: Wydajność w klasyfikacji wieloklasowej

Ten rozdział przedstawia dwa zastosowania modeli RNN: generowanie tekstu i neuronowe tłumaczenie maszynowe. Dowiesz się, jak przygotować dane tekstowe w formacie wymaganym przez modele. Model generowania tekstu posłuży do naśladowania stylu wypowiedzi postaci z serialu – Sheldona z Teorii wielkiego podrywu. Neuronowe tłumaczenie maszynowe jest stosowane m.in. przez Google Translate w znacznie bardziej rozbudowanych modelach. W tym rozdziale stworzysz model tłumaczący krótkie frazy z portugalskiego na angielski.

Exercise 1: Modele sekwencja-do-sekwencji Exercise 2: Przykłady generowania tekstu Exercise 3: Przykład NMT Exercise 4: Funkcja generowania tekstu Exercise 5: Przewidywanie następnego znaku Exercise 6: Generowanie zdania z kontekstem Exercise 7: Zmień skalę prawdopodobieństwa Exercise 8: Modele generowania tekstu Exercise 9: Tworzenie wektorów zdań i kolejnych znaków Exercise 10: Przygotowanie danych do trenowania

Bieżące ćwiczenie

Exercise 11: Tworzenie modelu generowania tekstu Exercise 12: Neuronowe tłumaczenie maszynowe Exercise 13: Przygotowanie tekstu wejściowego Exercise 14: Przygotowanie tekstu wyjściowego Exercise 15: Tłumaczenie z portugalskiego na angielski Exercise 16: Gratulacje!