Định nghĩa decoder của mô hình suy luận (inference)

Mô hình suy luận là mô hình sẽ được dùng trong thực tế để thực hiện dịch khi người dùng yêu cầu. Trong bài tập này, bạn sẽ triển khai decoder của mô hình suy luận.

Decoder của mô hình suy luận khác với decoder của mô hình huấn luyện. Ta không thể đưa các từ tiếng Pháp vào decoder vì đó chính là thứ ta muốn dự đoán. May mắn là có một cách: dùng từ tiếng Pháp được dự đoán ở bước thời gian trước đó để đưa vào decoder của mô hình suy luận. Vì vậy, khi bạn muốn tạo bản dịch, decoder cần sinh ra từng từ một, đồng thời dùng đầu ra trước đó làm đầu vào.

Trong bài tập này, các biến hsize (kích thước ẩn của tầng GRU), fr_len và fr_vocab đã được nhập sẵn. Hãy nhớ rằng tiền tố de được dùng để chỉ decoder.

Bài tập này là một phần của khóa học

Machine Translation với Keras

Xem khóa học

Hướng dẫn bài tập

Định nghĩa một tầng Input nhận một batch các chuỗi từ tiếng Pháp được mã hóa one-hot (độ dài chuỗi là 1).
Định nghĩa một tầng Input khác nhận một batch trạng thái kích thước hsize, bạn sẽ dùng để đưa trạng thái trước đó vào decoder.
Lấy đầu ra và trạng thái của GRU trong decoder.
Định nghĩa một mô hình nhận Input từ tiếng Pháp và Input trạng thái trước đó, rồi xuất ra dự đoán cuối cùng và trạng thái GRU mới.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

import tensorflow.keras.layers as layers
from tensorflow.keras.models import Model
# Define an input layer that accepts a single onehot encoded word
de_inputs = layers.____(shape=(____, ____))
# Define an input to accept the t-1 state
de_state_in = layers.____(shape=(____,))
de_gru = layers.GRU(hsize, return_state=True)
# Get the output and state from the GRU layer
de_out, de_state_out = ____(de_inputs, initial_state=____)
de_dense = layers.Dense(fr_vocab, activation='softmax')
de_pred = de_dense(de_out)

# Define a model
decoder = Model(inputs=[____, ____], outputs=[____, ____])
print(decoder.summary())

Chỉnh sửa và Chạy Mã