1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras
Connected

Bài tập

So sánh số lượng tham số

Bạn đã thấy biểu diễn one-hot không phải là cách tốt để biểu diễn từ vì nó rất thưa (sparse). Dùng lớp Embedding sẽ tạo ra các vector đặc (dense), nhưng cũng đòi hỏi phải học rất nhiều tham số.

Trong bài tập này, bạn sẽ so sánh số lượng tham số của hai mô hình sử dụng embeddings và mã hóa one-hot để thấy sự khác biệt.

Mô hình model_onehot đã được nạp sẵn trong môi trường, cũng như Sequential, Dense và GRU từ keras. Cuối cùng, các tham số vocabulary_size=80000 và sentence_len=200 cũng đã được nạp.

Hướng dẫn

100 XP
  • Import lớp Embedding từ keras.layers.
  • Ở lớp embedding, dùng kích thước từ vựng cộng một làm input dimension và độ dài câu làm input length.
  • Biên dịch (compile) mô hình.
  • In phần tóm tắt (summary) của mô hình có embedding.