Поділ тренувальних і валідаційних даних

Ви створите тренувальний і валідаційний набори даних. Мати окремий валідаційний набір і відстежувати на ньому якість моделі — гарна практика, що допомагає уникати перенавчання.

У цій вправі вам надано en_text (речення англійською) і fr_text (речення французькою).

Ця вправа є частиною курсу

Machine Translation з Keras

Переглянути курс

Інструкції до вправи

Визначте послідовність індексів за допомогою np.arange(), що починається з 0 і має розмір, рівний довжині en_text.
Визначте train_inds як перші train_size індексів із цієї послідовності.
Визначте tr_en і tf_fr, які містять речення за індексами з train_inds у списках en_text і fr_text.
Визначте v_en і v_fr, які містять речення за індексами з valid_inds у списках en_text і fr_text.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

train_size, valid_size = 800, 200
# Define a sequence of indices from 0 to size of en_text
inds = np.____(len(____))
np.random.shuffle(inds)
# Define train_inds as first train_size indices
train_inds = inds[:____]
valid_inds = inds[train_size:train_size+valid_size]
# Define tr_en (train EN sentences) and tr_fr (train FR sentences)
tr_en = [en_text[ti] for ti in ____]
tr_fr = [____[____] for ti in ____]
# Define v_en (valid EN sentences) and v_fr (valid FR sentences)
v_en = [en_text[____] for vi in ____]
v_fr = [____[____] for vi in ____]
print('Training (EN):\n', tr_en[:3], '\nTraining (FR):\n', tr_fr[:3])
print('\nValid (EN):\n', v_en[:3], '\nValid (FR):\n', v_fr[:3])

Редагувати та запускати код