Transfer learning

Uczenie warstwy osadzeń (embedding layer) wiąże się z koniecznością nauczenia bardzo wielu parametrów.

W tym ćwiczeniu zobaczysz, że dzięki transfer learningowi można wykorzystać wagi wstępnie wytrenowanego modelu i nie aktualizować ich podczas treningu. Oznacza to, że wszystkie parametry warstwy osadzeń pozostają zamrożone, a model uczy się jedynie parametrów pozostałych warstw.

Funkcja load_glove jest już dostępna w środowisku i zwraca macierz GloVe jako wektor numpy.ndarray. Korzysta z metody omówionej na slajdach lekcji, aby pobrać wektory GloVe o 200 wymiarach osadzeń dla słownictwa użytego w tym ćwiczeniu.

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Instrukcje do ćwiczenia

Użyj predefiniowanej funkcji, aby wczytać wektory GloVe.
Zastosuj inicjalizator Constant na wstępnie wytrenowanych wektorach.
Dodaj warstwę wyjściową jako Dense z jedną jednostką.
Wyświetl podsumowanie i sprawdź liczbę trenowalnych parametrów.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the glove pre-trained vectors
glove_matrix = ____('glove_200d.zip')

# Create a model with embeddings
model = Sequential(name="emb_model")
model.add(Embedding(input_dim=vocabulary_size + 1, output_dim=wordvec_dim, 
                    embeddings_initializer=____(glove_matrix), 
                    input_length=sentence_len, trainable=False))
model.add(GRU(128))
model.add(____)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Print the summaries of the model with embeddings
model.____

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy rekurencyjnych sieci neuronowych (RNN). Zaczniesz od niezbędnych wiadomości wstępnych, przejdziesz do zrozumienia przepływu informacji w sieci, a na koniec zobaczysz, jak implementować takie modele w Keras – na przykładzie zadania klasyfikacji sentymentu.

Exercise 1: Wprowadzenie do kursu Exercise 2: Porównanie liczby parametrów sieci RNN i ANN Exercise 3: Analiza sentymentu Exercise 4: Modele sekwencja-do-sekwencji Exercise 5: Wprowadzenie do modeli językowych Exercise 6: Praca z danymi tekstowymi Exercise 7: Przygotowanie danych tekstowych jako wejścia do modelu Exercise 8: Przekształcanie nowego tekstu Exercise 9: Wprowadzenie do RNN w Keras Exercise 10: Modele Keras Exercise 11: Przetwarzanie wstępne w Keras Exercise 12: Twój pierwszy model RNN

Dowiesz się o problemach zanikającego i eksplodującego gradientu, które często pojawiają się w RNN, oraz o tym, jak sobie z nimi radzić za pomocą komórek GRU i LSTM. Poza tym stworzysz warstwy embeddingów dla modeli językowych i powrócisz do zadania klasyfikacji sentymentu.

Exercise 1: Zanikające i eksplodujące gradienty Exercise 2: Problem eksplodujących gradientów Exercise 3: Problem zanikających gradientów Exercise 4: Komórki GRU i LSTM Exercise 5: Komórki GRU są lepsze niż SimpleRNN Exercise 6: Układanie warstw RNN w stos Exercise 7: Warstwa osadzeń (Embedding)Exercise 8: Porównanie liczby parametrów Exercise 9: Transfer learning

Bieżące ćwiczenie

Exercise 10: Osadzenia poprawiają wyniki Exercise 11: Powrót do klasyfikacji sentymentu Exercise 12: Lepsza klasyfikacja sentymentu Exercise 13: Korzystanie z warstwy CNN

W tym rozdziale nauczysz się przygotowywać dane do zadania klasyfikacji wieloklasowej, a także poznasz różnice między klasyfikacją wieloklasową a binarną (analiza sentymentu). Na koniec zobaczysz, jak tworzyć modele i oceniać ich wydajność w Keras.

Exercise 1: Przetwarzanie wstępne danych Exercise 2: Przygotowanie wektorów etykiet Exercise 3: Przetwarzanie danych Exercise 4: Transfer learning w modelach językowych Exercise 5: Transfer learning jako punkt wyjścia Exercise 6: Word2Vec Exercise 7: Modele klasyfikacji wieloklasowej Exercise 8: Eksploracja zbioru danych 20 News Groups Exercise 9: Klasyfikacja artykułów prasowych Exercise 10: Ocena wydajności modelu Exercise 11: Kompromis między precyzją a czułością Exercise 12: Precyzja czy czułość – oto jest pytanie Exercise 13: Wydajność w klasyfikacji wieloklasowej

Ten rozdział przedstawia dwa zastosowania modeli RNN: generowanie tekstu i neuronowe tłumaczenie maszynowe. Dowiesz się, jak przygotować dane tekstowe w formacie wymaganym przez modele. Model generowania tekstu posłuży do naśladowania stylu wypowiedzi postaci z serialu – Sheldona z Teorii wielkiego podrywu. Neuronowe tłumaczenie maszynowe jest stosowane m.in. przez Google Translate w znacznie bardziej rozbudowanych modelach. W tym rozdziale stworzysz model tłumaczący krótkie frazy z portugalskiego na angielski.

Exercise 1: Modele sekwencja-do-sekwencji Exercise 2: Przykłady generowania tekstu Exercise 3: Przykład NMT Exercise 4: Funkcja generowania tekstu Exercise 5: Przewidywanie następnego znaku Exercise 6: Generowanie zdania z kontekstem Exercise 7: Zmień skalę prawdopodobieństwa Exercise 8: Modele generowania tekstu Exercise 9: Tworzenie wektorów zdań i kolejnych znaków Exercise 10: Przygotowanie danych do trenowania Exercise 11: Tworzenie modelu generowania tekstu Exercise 12: Neuronowe tłumaczenie maszynowe Exercise 13: Przygotowanie tekstu wejściowego Exercise 14: Przygotowanie tekstu wyjściowego Exercise 15: Tłumaczenie z portugalskiego na angielski Exercise 16: Gratulacje!