Część 1: Definiowanie pełnego modelu

W tym ćwiczeniu zaimplementujesz ostatnie warstwy modelu enkodera-dekodera. Użyjesz warstw Dense i TimeDistributed, aby uzyskać końcowe przewidywania modelu (czyli prawdopodobieństwa przynależności do poszczególnych słów francuskich).

Dostępne są enkoder i dekoder (bez górnej części), które zaimplementowano wcześniej. Wyjście de_out warstwy GRU dekodera jest już dostarczone. Prefiks en (np. en_gru) oznacza elementy należące do enkodera, a de – elementy dekodera (np. de_gru).

To ćwiczenie jest częścią kursu

Tłumaczenie maszynowe z Keras

Zobacz kurs

Instrukcje do ćwiczenia

Zaimportuj warstwy Dense i TimeDistributed z Keras.
Zdefiniuj warstwę Dense z aktywacją softmax, która ma fr_vocab wyjść.
Owiń warstwę Dense w warstwę TimeDistributed.
Uzyskaj końcowe przewidywanie modelu, przekazując de_out do warstwy de_dense_time.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import Dense and TimeDistributed layers
from tensorflow.keras.____ import ____, ____
# Define a softmax dense layer that has fr_vocab outputs
de_dense = ____(____, ____)
# Wrap the dense layer in a TimeDistributed layer
de_dense_time = ____(de_dense)
# Get the final prediction of the model
de_pred = ____(de_out)
print("Prediction shape: ", de_pred.shape)

Edytuj i uruchom kod