1. सीखें
    2. /
  2. पाठ्यक्रम
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

अभ्यास

트랜스포머 헤드 추가하기

감정 분석이나 분류처럼 분류 작업에 사용할 수 있는 트랜스포머 헤드를 설계해 볼까요? ClassifierHead 클래스를 정의하고, 본체와 헤드 인스턴스를 만든 뒤, 일련의 토큰 ID를 두 모듈에 차례로 전달하여 예상대로 동작하는지 테스트해 보겠습니다.

참고: 이 모델은 아직 학습되지 않았기 때문에 출력은 의미가 없어요. 하지만 코드가 입력을 처리하고 기대한 형태의 출력을 생성하는지 확인하는 것은 좋은 테스트입니다.

निर्देश 1/3

undefined XP
    1
    2
    3
  • 인코더 출력을 클래스 예측으로 변환하도록 트랜스포머 헤드를 완성하세요(클래스 수는 num_classes로 주어집니다).