ट्रांसफर लर्निंग
आपने देखा कि जब आप एक एम्बेडिंग लेयर को ट्रेन करते हैं, तो बहुत सारे पैरामीटर सीखने पड़ते हैं.
इस अभ्यास में, आप देखेंगे कि ट्रांसफर लर्निंग का उपयोग करते समय प्री-ट्रेंड वेट्स को इस्तेमाल करके उन्हें अपडेट न करना संभव है. इसका मतलब है कि एम्बेडिंग लेयर के सारे पैरामीटर फिक्स रहेंगे, और मॉडल को केवल बाकी लेयर्स के पैरामीटर ही सीखने होंगे.
load_glove फंक्शन पहले से पर्यावरण में लोड है और glove मैट्रिक्स को numpy.ndarray वेक्टर के रूप में रिटर्न करता है. यह लेसन की स्लाइड्स में कवर किए गए फंक्शन का उपयोग करके इस अभ्यास के शब्द-संग्रह के लिए 200 एम्बेडिंग डाइमेंशंस वाले glove वेक्टर प्राप्त करता है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)
अभ्यास निर्देश
- प्री-डिफाइन्ड फंक्शन का उपयोग करके glove वेक्टर लोड करें.
- प्री-ट्रेंड वेक्टर पर
Constantइनिशियलाइज़र का उपयोग करें. - आउटपुट लेयर को एक यूनिट वाली
Denseके रूप में जोड़ें. - summary प्रिंट करें और trainable पैरामीटर्स जाँचें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Load the glove pre-trained vectors
glove_matrix = ____('glove_200d.zip')
# Create a model with embeddings
model = Sequential(name="emb_model")
model.add(Embedding(input_dim=vocabulary_size + 1, output_dim=wordvec_dim,
embeddings_initializer=____(glove_matrix),
input_length=sentence_len, trainable=False))
model.add(GRU(128))
model.add(____)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Print the summaries of the model with embeddings
model.____