Yeni metni dönüştürme
Bu egzersizde, daha önce oluşturulan sözlüklerdeki sayısal indeks dizilerine yeni bir metni dönüştüreceksin.
Bu, zaten eğitilmiş bir modelin varsa ve onu yeni bir veri kümesine uygulamak istediğinde kullanışlıdır. Modelin tahmin/sınıflandırma yapabilmesi için, eğitim verisinde yapılan ön işleme adımları yeni metne de uygulanmalıdır.
Burada ayrıca, söz varlığında olmayan kelimeleri temsil etmek için özel bir '<UKN/>' belirteci kullanacaksın. Genellikle bu özel belirteçler sözlüklerin ilk indeksleridir, yani 0 konumu.
word_to_index, index_to_word ve vocabulary değişkenleri ortama zaten yüklendi. Ayrıca yeni metni içeren değişken de new_text olarak yüklendi. Göz atman için yeni metin yazdırıldı.
Bu egzersiz
Keras ile Dil Modellemesi için Yinelenen Sinir Ağları (RNN)
kursunun bir parçasıdırEgzersiz talimatları
- Cümleleri içeren
new_textlistesi üzerinde döngü kur. - Kelime sözlükte bulunamazsa indeksi
0olarak ayarla. - İndeksli cümleyi
new_text_splitdeğişkenine ekle. - İndeksleri
index_to_wordsözlüğünü kullanarak tekrar metne çevir.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Loop through the sentences and get indexes
new_text_split = []
for sentence in ____:
sent_split = []
for wd in sentence.split(' '):
index = word_to_index.get(wd, ____)
sent_split.append(index)
new_text_split.append(____)
# Print the first sentence's indexes
print(new_text_split[0])
# Print the sentence converted using the dictionary
print(' '.join([index_to_word[____] for index in new_text_split[0]]))