1. Обучение
    2. /
  2. Курса
    3. /
  3. Transformer Models with PyTorch
Connected

упражнение

Sestavení enkodér-dekodér transformeru

Teď, když máš aktualizovanou třídu DecoderLayer a odpovídající úpravy jsou hotové i v TransformerDecoder, je čas vše poskládat dohromady. Díky modulárnímu a hierarchickému přístupu při stavbě tříd stačí k sestavení enkodér-dekodér transformeru vytvořit instance jen dvou z nich: TransformerDecoder a TransformerEncoder.

Инструкции

100 XP
  • Dokonči průchod forward() tak, aby se vypočítaly výstupy enkodéru i dekodéru.
  • Vytvoř instanci transformeru a zavolej ho na input_tokens s maskami src_mask, tgt_mask a cross_mask.