PyTorch Transformer'ları
Artık transformer mimarisinin farklı bileşenlerine aşina olduğuna göre, bir tane tanımlama zamanı! Senin için nn olarak içe aktarılan torch.nn modülü, bunu sadece birkaç satır kodla yapmanın gerçekten güzel bir yolunu sunar.
Bu egzersiz, kursun bir parçasıdır
PyTorch ile Transformer Modelleri
Egzersiz talimatları
8dikkat başlığı,6kodlayıcı ve çözücü katmanı olan ve girdi dizi gömmeleri uzunluğu1536olacak bir transformer tanımla.- Model mimarisini görmek için model nesnesini yazdır.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Define the transformer model
model = ____
# Print the model object
print(____)