Przetwarzanie wstępne w Keras

Drugim ważnym modułem Keras jest keras.preprocessing. Zobaczysz, jak korzystać z jego najważniejszych modułów i funkcji, aby przygotować surowe dane w odpowiednim kształcie wejściowym. Keras oferuje funkcjonalności zastępujące podejście słownikowe, które poznałeś wcześniej.

Użyjesz modułu keras.preprocessing.text.Tokenizer, aby zbudować słownik słów metodą .fit_on_texts(), a następnie przekształcisz teksty na numeryczne identyfikatory reprezentujące indeks każdego słowa w słowniku za pomocą metody .texts_to_sequences().

Następnie użyj funkcji .pad_sequences() z modułu keras.preprocessing.sequence, aby wyrównać długość wszystkich sekwencji (co jest wymagane przez model) – krótsze teksty zostaną dopełnione zerami, a dłuższe obcięte.

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Instrukcje do ćwiczenia

Zaimportuj Tokenizer i pad_sequences z odpowiednich modułów.
Dopasuj obiekt tokenizer do przykładowych danych zapisanych w zmiennej texts.
Przekształć teksty na sekwencje numerycznych indeksów za pomocą metody .texts_to_sequences().
Wyrównaj rozmiar tekstów, dopełniając je odpowiednimi wartościami.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import relevant classes/functions
from tensorflow.keras.preprocessing.text import ____
from tensorflow.keras.preprocessing.sequence import ____

# Build the dictionary of indexes
tokenizer = Tokenizer()
tokenizer.fit_on_texts(____)

# Change texts into sequence of indexes
texts_numeric = tokenizer.____(texts)
print("Number of words in the sample texts: ({0}, {1})".format(len(texts_numeric[0]), len(texts_numeric[1])))

# Pad the sequences
texts_pad = ____(texts_numeric, 60)
print("Now the texts have fixed length: 60. Let's see the first one: \n{0}".format(texts_pad[0]))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy rekurencyjnych sieci neuronowych (RNN). Zaczniesz od niezbędnych wiadomości wstępnych, przejdziesz do zrozumienia przepływu informacji w sieci, a na koniec zobaczysz, jak implementować takie modele w Keras – na przykładzie zadania klasyfikacji sentymentu.

Exercise 1: Wprowadzenie do kursu Exercise 2: Porównanie liczby parametrów sieci RNN i ANN Exercise 3: Analiza sentymentu Exercise 4: Modele sekwencja-do-sekwencji Exercise 5: Wprowadzenie do modeli językowych Exercise 6: Praca z danymi tekstowymi Exercise 7: Przygotowanie danych tekstowych jako wejścia do modelu Exercise 8: Przekształcanie nowego tekstu Exercise 9: Wprowadzenie do RNN w Keras Exercise 10: Modele Keras Exercise 11: Przetwarzanie wstępne w Keras

Bieżące ćwiczenie

Exercise 12: Twój pierwszy model RNN

Dowiesz się o problemach zanikającego i eksplodującego gradientu, które często pojawiają się w RNN, oraz o tym, jak sobie z nimi radzić za pomocą komórek GRU i LSTM. Poza tym stworzysz warstwy embeddingów dla modeli językowych i powrócisz do zadania klasyfikacji sentymentu.

Exercise 1: Zanikające i eksplodujące gradienty Exercise 2: Problem eksplodujących gradientów Exercise 3: Problem zanikających gradientów Exercise 4: Komórki GRU i LSTM Exercise 5: Komórki GRU są lepsze niż SimpleRNN Exercise 6: Układanie warstw RNN w stos Exercise 7: Warstwa osadzeń (Embedding)Exercise 8: Porównanie liczby parametrów Exercise 9: Transfer learning Exercise 10: Osadzenia poprawiają wyniki Exercise 11: Powrót do klasyfikacji sentymentu Exercise 12: Lepsza klasyfikacja sentymentu Exercise 13: Korzystanie z warstwy CNN

W tym rozdziale nauczysz się przygotowywać dane do zadania klasyfikacji wieloklasowej, a także poznasz różnice między klasyfikacją wieloklasową a binarną (analiza sentymentu). Na koniec zobaczysz, jak tworzyć modele i oceniać ich wydajność w Keras.

Exercise 1: Przetwarzanie wstępne danych Exercise 2: Przygotowanie wektorów etykiet Exercise 3: Przetwarzanie danych Exercise 4: Transfer learning w modelach językowych Exercise 5: Transfer learning jako punkt wyjścia Exercise 6: Word2Vec Exercise 7: Modele klasyfikacji wieloklasowej Exercise 8: Eksploracja zbioru danych 20 News Groups Exercise 9: Klasyfikacja artykułów prasowych Exercise 10: Ocena wydajności modelu Exercise 11: Kompromis między precyzją a czułością Exercise 12: Precyzja czy czułość – oto jest pytanie Exercise 13: Wydajność w klasyfikacji wieloklasowej

Ten rozdział przedstawia dwa zastosowania modeli RNN: generowanie tekstu i neuronowe tłumaczenie maszynowe. Dowiesz się, jak przygotować dane tekstowe w formacie wymaganym przez modele. Model generowania tekstu posłuży do naśladowania stylu wypowiedzi postaci z serialu – Sheldona z Teorii wielkiego podrywu. Neuronowe tłumaczenie maszynowe jest stosowane m.in. przez Google Translate w znacznie bardziej rozbudowanych modelach. W tym rozdziale stworzysz model tłumaczący krótkie frazy z portugalskiego na angielski.

Exercise 1: Modele sekwencja-do-sekwencji Exercise 2: Przykłady generowania tekstu Exercise 3: Przykład NMT Exercise 4: Funkcja generowania tekstu Exercise 5: Przewidywanie następnego znaku Exercise 6: Generowanie zdania z kontekstem Exercise 7: Zmień skalę prawdopodobieństwa Exercise 8: Modele generowania tekstu Exercise 9: Tworzenie wektorów zdań i kolejnych znaków Exercise 10: Przygotowanie danych do trenowania Exercise 11: Tworzenie modelu generowania tekstu Exercise 12: Neuronowe tłumaczenie maszynowe Exercise 13: Przygotowanie tekstu wejściowego Exercise 14: Przygotowanie tekstu wyjściowego Exercise 15: Tłumaczenie z portugalskiego na angielski Exercise 16: Gratulacje!