1. Learn
    2. /
  2. Courses
    3. /
  3. Моделі Transformer з PyTorch
Connected

Exercise

Створення маски для self-attention

Щоб декодер міг навчатися передбачати токени, важливо приховувати майбутні токени під час моделювання вхідних послідовностей. Ви побудуєте маску у вигляді трикутної матриці зі значень True і False, де у верхній діагоналі будуть False, щоб виключити майбутні токени.

Instructions

100 XP
  • Створіть булеву матрицю tgt_mark, щоб маскувати майбутні токени в механізмі уваги в тілі декодера.