사전 학습된 GPT-2 모델로 텍스트 완성

PyBooks로 돌아와서, 현재 프로젝트는 기존 이야기를 바탕으로 매력적인 서사를 만들어 고객 참여를 높이고 경험을 향상하는 일입니다. 이를 위해서는 자연스럽게 설득력 있는 이어쓰기 텍스트를 생성할 수 있는 강력한 텍스트 생성 도구가 필요해요. 이번에는 사전 학습된 모델을 사용해 작업을 진행합니다.

다음이 미리 로드되어 있습니다: torch 및 transformers의 GPT2Tokenizer,GPT2LMHeadModel.

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Initialize the tokenizer
tokenizer = ____

# Initialize the pre-trained model
model = ____

코드 편집 및 실행

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 텍스트 딥러닝과 그 활용 분야를 소개합니다. PyTorch로 텍스트를 처리하는 방법을 배우고, 토큰화, 어간 추출, 불용어 제거 등 기법을 직접 실습해 보세요. 텍스트 데이터를 인코딩하는 중요성을 이해하고, PyTorch로 인코딩 기법을 구현합니다. 마지막으로 이러한 기법을 결합해 텍스트 처리 파이프라인을 구축하며 학습 내용을 정리합니다.

Exercise 1: 텍스트 전처리 소개 Exercise 2: 단어 빈도 분석 Exercise 3: 텍스트 전처리 Exercise 4: 텍스트 데이터 인코딩 Exercise 5: 원-핫 인코딩된 도서 제목 Exercise 6: 책 제목에 대한 Bag-of-Words Exercise 7: 책 소개 글에 TF-IDF 적용하기 Exercise 8: 텍스트 처리 파이프라인 구축 소개 Exercise 9: 셰익스피어 문어체 전처리 파이프라인 Exercise 10: 셰익스피어 문체 인코더

텍스트 분류와 그 역할을 Natural Language Processing(NLP)에서 살펴봅니다. PyTorch로 단어 임베딩을 구현하고, 텍스트 분류를 위해 Convolutional Neural Networks(CNN)와 Recurrent Neural Networks(RNN)를 구축해 보세요. 또한 적절한 지표를 사용해 모델을 평가하는 방법을 이해합니다.

Exercise 1: 텍스트 분류 개요 Exercise 2: PyTorch에서의 임베딩 Exercise 3: 텍스트 분류 과제 분류하기 Exercise 4: 텍스트 분류를 위한 합성곱 신경망 Exercise 5: 텍스트용 CNN 모델 구축하기 Exercise 6: 텍스트용 CNN 모델 학습 Exercise 7: 감성 분석 CNN 모델 테스트하기 Exercise 8: 텍스트 분류를 위한 순환 신경망 Exercise 9: 텍스트용 RNN 모델 구축 Exercise 10: 텍스트용 LSTM 모델 구축 Exercise 11: 텍스트를 위한 GRU 모델 구축 Exercise 12: 텍스트 분류를 위한 평가 지표 Exercise 13: RNN 분류 모델 평가하기 Exercise 14: 모델 성능 평가하기 Exercise 15: 모델 비교하기

텍스트 생성과 그 응용 분야를 탐구합니다. PyTorch를 활용해 Recurrent Neural Networks(RNN), Generative Adversarial Networks(GAN), 사전 학습 모델을 텍스트 생성 작업에 활용하는 방법을 익히세요. 아울러 관련 지표를 사용해 모델 성능을 평가하는 방법도 배웁니다.

Exercise 1: 텍스트 생성 소개 Exercise 2: 텍스트 생성을 위한 RNN 모델 만들기 Exercise 3: RNN을 활용한 텍스트 생성 - 학습과 생성 Exercise 4: 텍스트 생성을 위한 생성적 적대 신경망 Exercise 5: 생성기와 판별기 구축하기 Exercise 6: GAN 모델 학습하기 Exercise 7: 텍스트 생성용 사전 학습 모델 Exercise 8: 사전 학습된 GPT-2 모델로 텍스트 완성

현재 연습

Exercise 9: 사전 학습된 PyTorch 모델로 언어 번역하기 Exercise 10: 텍스트 생성의 평가 지표 Exercise 11: 사전 학습된 텍스트 생성 모델 평가하기 Exercise 12: 텍스트 생성 평가 지표 이해하기

전이 학습의 개념과 텍스트 분류에서의 적용을 이해합니다. Transformers의 구조를 살펴보고, 이를 텍스트 분류와 생성 작업에 활용하는 방법을 배워요. 또한 어텐션 메커니즘과 텍스트 처리에서의 역할을 다룹니다. 마지막으로 텍스트 분류 모델에 대한 적대적 공격의 잠재적 영향을 이해하고, 모델을 보호하는 방법을 학습합니다.

Exercise 1: 텍스트 분류를 위한 전이 학습 Exercise 2: BERT를 활용한 전이 학습 Exercise 3: BERT 모델 평가하기 Exercise 4: 텍스트 처리를 위한 Transformers Exercise 5: 트랜스포머 모델 만들기 Exercise 6: Transformer 모델 학습과 테스트 Exercise 7: 텍스트 처리를 위한 어텐션 메커니즘 Exercise 8: 어텐션이 포함된 RNN 모델 만들기 Exercise 9: 어텐션을 적용한 RNN 모델 학습과 테스트 Exercise 10: 텍스트 분류 모델에 대한 적대적 공격 Exercise 11: 적대적 공격 분류 Exercise 12: PyBooks에서 AI 보호하기 Exercise 13: 마무리