1. 学ぶ
    2. /
  2. コース
    3. /
  3. Modèles Transformer avec PyTorch
Connected

演習

Ajouter la tête du transformeur

Il est temps de concevoir une tête de transformeur qui pourra servir pour des tâches de classification comme l'analyse de sentiments ou la catégorisation. Vous allez définir une classe ClassifierHead, créer des instances du corps et de la tête, puis faire passer une série d'identifiants de jetons à travers les deux pour vérifier que tout fonctionne comme prévu.

Remarque : comme ce modèle n'a pas encore été entraîné, les résultats n'auront pas de sens. Cependant, vérifier que le code peut traiter les entrées et produire des sorties dans le format attendu constitue un bon test.

指示1 / 3

undefined XP
    1
    2
    3
  • Complétez la tête du transformeur pour convertir les sorties de l'encodeur en prédictions de classes (le nombre de classes est représenté par num_classes).