현재 AI에서 가장 뜨거운 딥러닝 아키텍처가 어떻게 동작하는지 알아보세요! 유명한 논문 "Attention is All You Need"에서 설명한 셀프 어텐션 메커니즘을 포함해, Transformer 모델을 이루는 핵심 구성 요소들을 학습합니다.

PyTorch로 배우는 Transformer

Transformer 분해해서 살펴보기

PyTorch 트랜스포머

임베딩과 위치 인코딩

입력 임베딩 만들기

Positional encoding 만들기

Multi-head self-attention

멀티헤드 어텐션 구현

MultiHeadAttentionClass 시작하기

MultiHeadAttention 클래스에 메서드 추가하기

Transformer 모델의 구성 요소

Transformer 인코더와 디코더 블록을 설계하고, 이를 positional encoding, multi-headed attention, position-wise feed-forward network와 결합해 나만의 Transformer 아키텍처를 구축해 보세요. 과정을 통해 Transformer가 내부적으로 어떻게 작동하는지 깊이 이해하고 통찰을 얻을 수 있습니다.

인코더 트랜스포머

피드포워드 하위 계층

인코더 트랜스포머 레이어

인코더 트랜스포머 본체

트랜스포머 헤드 추가하기

디코더 트랜스포머

Self-Attention용 마스크 설계

디코더 레이어

디코더 트랜스포머 완성하기

인코더-디코더 트랜스포머

디코더 레이어에 교차-어텐션 추가하기

인코더-디코더 트랜스포머 구성하기

축하합니다!

Transformer 아키텍처 구축

LLM을 한층 깊게 이해하고, Transformer 아키텍처가 어떻게 딥러닝을 혁신하며 생성형 AI 붐을 이끌었는지 알아보세요! 이 강의에서는 기초부터 직접 Transformer 아키텍처를 구성 요소별로 만들어 봅니다. 토큰의 위치 정보를 인코딩하는 법, 어텐션 메커니즘 계산을 수행하는 법, 그리고 모듈형 Transformer 구성 요소를 구축하여 모델의 내부 동작을 더 세밀하게 제어하는 방법을 배우게 됩니다. 지금 바로 시작해서 LLM 실력자를 목표로 해 보세요!

<h2>트랜스포머 아키텍처 심층 탐구</h2>
트랜스포머 모델은 텍스트 모델링에 혁신을 가져왔으며, 오늘날의 대규모 언어 모델(LLM)을 가능하게 하여 생성형 AI 붐의 시작을 이끌었습니다. 이 강의에서는 위치 인코딩, 어텐션 메커니즘, 피드포워드 서브레이어를 포함해 이 아키텍처의 핵심 구성 요소를 살펴봅니다. 이러한 구성 요소들을 모듈식으로 코딩하여 자신만의 트랜스포머를 단계별로 구축하게 됩니다.<br><br><h2>PyTorch로 어텐션 메커니즘 구현하기</h2>
어텐션 메커니즘은 트랜스포머 아키텍처를 정립하는 데 도움을 준 핵심 발전입니다. 셀프 어텐션은 트랜스포머가 토큰 간의 관계를 더 잘 파악하도록 해 주며, 이를 통해 생성되는 텍스트의 품질이 향상됩니다. 트랜스포머 모델의 핵심 구성 요소가 될 멀티헤드 어텐션 메커니즘 클래스를 만드는 방법을 배워보세요.<br><br><h2>나만의 트랜스포머 모델 구축하기</h2>
인코더 전용, 디코더 전용, 인코더-디코더 트랜스포머 모델을 구축하는 방법을 배워보세요. 텍스트 분류와 감성 분석, 텍스트 생성 및 완성, 시퀀스-투-시퀀스 번역을 포함한 다양한 언어 작업에 맞는 여러 트랜스포머 아키텍처를 선택하고 코딩하는 방법을 배워보세요.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

LLM의 작동 원리? 트랜스포머가 텍스트 모델링을 혁신하고 생성 AI 붐을 시작한 방법을 알아보세요.

PyTorch로 배우는 Transformer 모델

LLM의 원리를 파악하고, transformers가 텍스트 모델링을 혁신해 생성형 AI 붐을 촉발한 과정을 알아보세요.

딥러닝 in Python

대형 언어 모델 개발

PyTorch 트랜스포머

PyTorch로 배우는 Transformer 모델

연습 안내

실습형 인터랙티브 연습