Menambahkan token khusus

Sekarang Anda akan mempelajari cara menambahkan token sos (menandai awal) dan eos (menandai akhir) ke dalam kalimat. Seperti telah dibahas, langkah ini bersifat opsional untuk model yang Anda miliki saat ini, tetapi akan diperlukan untuk model yang akan Anda implementasikan di bab berikutnya.

Untuk menambahkan token khusus ini, Anda akan menggunakan fungsi Python string.join(). string.join() menggabungkan sebuah daftar string menjadi satu string menggunakan sebuah pemisah. Misalnya, jika Anda ingin mengonversi ['datacamp', 'is', 'awesome'] menjadi 'datacamp is awesome', Anda dapat menggunakan " ".join(['datacamp', 'is', 'awesome']), di mana " " (yaitu karakter spasi) adalah pemisahnya.

Untuk latihan ini, contoh kecil berisi 10 kalimat bahasa Prancis telah diimpor.

Latihan ini adalah bagian dari kursus

Penerjemahan Mesin dengan Keras

Lihat Kursus

Petunjuk latihan

Lakukan perulangan pada daftar kalimat bahasa Prancis (fr_text).
Tambahkan token "sos" untuk menandai awal dan token "eos" untuk menandai akhir setiap kalimat menggunakan fungsi string.join().
Tambahkan kalimat yang sudah dimodifikasi ke fr_text_new.
Cetak kalimat yang sudah dimodifikasi sent_new.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Edit dan Jalankan Kode