1. 学ぶ
    2. /
  2. コース
    3. /
  3. Моделі Transformer з PyTorch
Connected

演習

Побудова енкодер-декодер трансформера

Тепер, коли ви оновили клас DecoderLayer, а відповідні зміни внесено до TransformerDecoder, можна зібрати все докупи. Оскільки ви побудували класи модульно та ієрархічно, щоб створити енкодер‑декодер трансформер, достатньо створити лише два екземпляри: TransformerDecoder і TransformerEncoder.

指示

100 XP
  • Завершіть прохід forward(), щоб обчислити виходи енкодера та декодера.
  • Створіть екземпляр трансформера та викличте його на input_tokens, використовуючи надані src_mask, tgt_mask і cross_mask.