트랜스포머 헤드 추가하기
감정 분석이나 분류처럼 분류 작업에 사용할 수 있는 트랜스포머 헤드를 설계해 볼까요? ClassifierHead 클래스를 정의하고, 본체와 헤드 인스턴스를 만든 뒤, 일련의 토큰 ID를 두 모듈에 차례로 전달하여 예상대로 동작하는지 테스트해 보겠습니다.
참고: 이 모델은 아직 학습되지 않았기 때문에 출력은 의미가 없어요. 하지만 코드가 입력을 처리하고 기대한 형태의 출력을 생성하는지 확인하는 것은 좋은 테스트입니다.
이 연습은 강의의 일부입니다
PyTorch로 배우는 Transformer 모델
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Complete the classification head
class ClassifierHead(nn.Module):
def __init__(self, d_model, num_classes):
super().__init__()
self.fc = ____
def forward(self, x):
logits = self.fc(x)
return F.____(logits, dim=-1)