Tworzenie wektorów zdań i kolejnych znaków

To ćwiczenie kładzie szczególny nacisk na wartość przygotowania danych. Jako dane wejściowe wykorzystasz teksty zawierające frazy wypowiadane przez Sheldona z serialu Teoria wielkiego podrywu, a następnie stworzysz wektory indeksów zdań i kolejnych znaków – niezbędne przed zbudowaniem modelu generowania tekstu.

Tekst jest dostępny w zmiennej sheldon, słownik (zbiór znaków) – w zmiennej vocabulary, a hiperparametry chars_window i step mają wartości odpowiednio 20 i 3. Oznacza to, że do przewidzenia kolejnego znaku używana jest sekwencja 20 znaków, a okno przesuwa się o 3 znaki w każdej iteracji.

W środowisku załadowana jest również biblioteka pandas jako pd.

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Instrukcje do ćwiczenia

Podziel tekst według znaku nowej linii, aby iterować po zdaniach.
Przechodź pętlą do końca zdania pomniejszonego o chars_window.
Dodaj do zmiennej sentences fragment zdania o długości chars_window znaków, a do zmiennej next_chars – kolejny znak.
Użyj uzyskanych wektorów, aby utworzyć pd.DataFrame() i wydrukuj jego pierwsze wiersze.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Instantiate the vectors
sentences = []
next_chars = []
# Loop for every sentence
for sentence in sheldon.____:
    # Get 20 previous chars and next char; then shift by step
    for i in range(0, len(sentence) - ____, step):
        sentences.append(sentence[i:i + ____])
        next_chars.append(sentence[____ + chars_window])

# Define a Data Frame with the vectors
df = pd.DataFrame({'sentence': ____, 'next_char': ____})

# Print the initial rows
print(df.head())

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy rekurencyjnych sieci neuronowych (RNN). Zaczniesz od niezbędnych wiadomości wstępnych, przejdziesz do zrozumienia przepływu informacji w sieci, a na koniec zobaczysz, jak implementować takie modele w Keras – na przykładzie zadania klasyfikacji sentymentu.

Exercise 1: Wprowadzenie do kursu Exercise 2: Porównanie liczby parametrów sieci RNN i ANN Exercise 3: Analiza sentymentu Exercise 4: Modele sekwencja-do-sekwencji Exercise 5: Wprowadzenie do modeli językowych Exercise 6: Praca z danymi tekstowymi Exercise 7: Przygotowanie danych tekstowych jako wejścia do modelu Exercise 8: Przekształcanie nowego tekstu Exercise 9: Wprowadzenie do RNN w Keras Exercise 10: Modele Keras Exercise 11: Przetwarzanie wstępne w Keras Exercise 12: Twój pierwszy model RNN

Dowiesz się o problemach zanikającego i eksplodującego gradientu, które często pojawiają się w RNN, oraz o tym, jak sobie z nimi radzić za pomocą komórek GRU i LSTM. Poza tym stworzysz warstwy embeddingów dla modeli językowych i powrócisz do zadania klasyfikacji sentymentu.

Exercise 1: Zanikające i eksplodujące gradienty Exercise 2: Problem eksplodujących gradientów Exercise 3: Problem zanikających gradientów Exercise 4: Komórki GRU i LSTM Exercise 5: Komórki GRU są lepsze niż SimpleRNN Exercise 6: Układanie warstw RNN w stos Exercise 7: Warstwa osadzeń (Embedding)Exercise 8: Porównanie liczby parametrów Exercise 9: Transfer learning Exercise 10: Osadzenia poprawiają wyniki Exercise 11: Powrót do klasyfikacji sentymentu Exercise 12: Lepsza klasyfikacja sentymentu Exercise 13: Korzystanie z warstwy CNN

W tym rozdziale nauczysz się przygotowywać dane do zadania klasyfikacji wieloklasowej, a także poznasz różnice między klasyfikacją wieloklasową a binarną (analiza sentymentu). Na koniec zobaczysz, jak tworzyć modele i oceniać ich wydajność w Keras.

Exercise 1: Przetwarzanie wstępne danych Exercise 2: Przygotowanie wektorów etykiet Exercise 3: Przetwarzanie danych Exercise 4: Transfer learning w modelach językowych Exercise 5: Transfer learning jako punkt wyjścia Exercise 6: Word2Vec Exercise 7: Modele klasyfikacji wieloklasowej Exercise 8: Eksploracja zbioru danych 20 News Groups Exercise 9: Klasyfikacja artykułów prasowych Exercise 10: Ocena wydajności modelu Exercise 11: Kompromis między precyzją a czułością Exercise 12: Precyzja czy czułość – oto jest pytanie Exercise 13: Wydajność w klasyfikacji wieloklasowej

Ten rozdział przedstawia dwa zastosowania modeli RNN: generowanie tekstu i neuronowe tłumaczenie maszynowe. Dowiesz się, jak przygotować dane tekstowe w formacie wymaganym przez modele. Model generowania tekstu posłuży do naśladowania stylu wypowiedzi postaci z serialu – Sheldona z Teorii wielkiego podrywu. Neuronowe tłumaczenie maszynowe jest stosowane m.in. przez Google Translate w znacznie bardziej rozbudowanych modelach. W tym rozdziale stworzysz model tłumaczący krótkie frazy z portugalskiego na angielski.

Exercise 1: Modele sekwencja-do-sekwencji Exercise 2: Przykłady generowania tekstu Exercise 3: Przykład NMT Exercise 4: Funkcja generowania tekstu Exercise 5: Przewidywanie następnego znaku Exercise 6: Generowanie zdania z kontekstem Exercise 7: Zmień skalę prawdopodobieństwa Exercise 8: Modele generowania tekstu Exercise 9: Tworzenie wektorów zdań i kolejnych znaków

Bieżące ćwiczenie

Exercise 10: Przygotowanie danych do trenowania Exercise 11: Tworzenie modelu generowania tekstu Exercise 12: Neuronowe tłumaczenie maszynowe Exercise 13: Przygotowanie tekstu wejściowego Exercise 14: Przygotowanie tekstu wyjściowego Exercise 15: Tłumaczenie z portugalskiego na angielski Exercise 16: Gratulacje!