사전 학습된 PyTorch 모델로 언어 번역하기

PyBooks 팀은 한 언어에서 다른 언어로 번역하는 AI 프로젝트를 진행하고 있어요. 이 작업에 사전 학습된 모델을 활용하면 학습 시간과 자원을 크게 절약할 수 있습니다. 이번 연습 문제의 목표는 HuggingFace Transformers 라이브러리의 T5(Text-To-Text Transfer Transformer) 모델을 설정하고, 이를 사용해 영어 문장을 프랑스어로 번역하는 것입니다.

T5Tokenizer, T5ForConditionalGeneration는 미리 불러와 두었습니다.

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

연습 안내

사전 학습된 "t5-small" 모델에서 tokenizer와 model을 초기화하세요.
토크나이저를 사용해 입력 프롬프트를 인코딩하고, PyTorch 텐서를 반환하도록 설정하세요.
model을 사용해 입력 프롬프트를 번역하고, 번역된 출력을 생성하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)

코드 편집 및 실행

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 텍스트 딥러닝과 그 활용 분야를 소개합니다. PyTorch로 텍스트를 처리하는 방법을 배우고, 토큰화, 어간 추출, 불용어 제거 등 기법을 직접 실습해 보세요. 텍스트 데이터를 인코딩하는 중요성을 이해하고, PyTorch로 인코딩 기법을 구현합니다. 마지막으로 이러한 기법을 결합해 텍스트 처리 파이프라인을 구축하며 학습 내용을 정리합니다.

Exercise 1: 텍스트 전처리 소개 Exercise 2: 단어 빈도 분석 Exercise 3: 텍스트 전처리 Exercise 4: 텍스트 데이터 인코딩 Exercise 5: 원-핫 인코딩된 도서 제목 Exercise 6: 책 제목에 대한 Bag-of-Words Exercise 7: 책 소개 글에 TF-IDF 적용하기 Exercise 8: 텍스트 처리 파이프라인 구축 소개 Exercise 9: 셰익스피어 문어체 전처리 파이프라인 Exercise 10: 셰익스피어 문체 인코더

텍스트 분류와 그 역할을 Natural Language Processing(NLP)에서 살펴봅니다. PyTorch로 단어 임베딩을 구현하고, 텍스트 분류를 위해 Convolutional Neural Networks(CNN)와 Recurrent Neural Networks(RNN)를 구축해 보세요. 또한 적절한 지표를 사용해 모델을 평가하는 방법을 이해합니다.

Exercise 1: 텍스트 분류 개요 Exercise 2: PyTorch에서의 임베딩 Exercise 3: 텍스트 분류 과제 분류하기 Exercise 4: 텍스트 분류를 위한 합성곱 신경망 Exercise 5: 텍스트용 CNN 모델 구축하기 Exercise 6: 텍스트용 CNN 모델 학습 Exercise 7: 감성 분석 CNN 모델 테스트하기 Exercise 8: 텍스트 분류를 위한 순환 신경망 Exercise 9: 텍스트용 RNN 모델 구축 Exercise 10: 텍스트용 LSTM 모델 구축 Exercise 11: 텍스트를 위한 GRU 모델 구축 Exercise 12: 텍스트 분류를 위한 평가 지표 Exercise 13: RNN 분류 모델 평가하기 Exercise 14: 모델 성능 평가하기 Exercise 15: 모델 비교하기

텍스트 생성과 그 응용 분야를 탐구합니다. PyTorch를 활용해 Recurrent Neural Networks(RNN), Generative Adversarial Networks(GAN), 사전 학습 모델을 텍스트 생성 작업에 활용하는 방법을 익히세요. 아울러 관련 지표를 사용해 모델 성능을 평가하는 방법도 배웁니다.

Exercise 1: 텍스트 생성 소개 Exercise 2: 텍스트 생성을 위한 RNN 모델 만들기 Exercise 3: RNN을 활용한 텍스트 생성 - 학습과 생성 Exercise 4: 텍스트 생성을 위한 생성적 적대 신경망 Exercise 5: 생성기와 판별기 구축하기 Exercise 6: GAN 모델 학습하기 Exercise 7: 텍스트 생성용 사전 학습 모델 Exercise 8: 사전 학습된 GPT-2 모델로 텍스트 완성 Exercise 9: 사전 학습된 PyTorch 모델로 언어 번역하기

현재 연습

Exercise 10: 텍스트 생성의 평가 지표 Exercise 11: 사전 학습된 텍스트 생성 모델 평가하기 Exercise 12: 텍스트 생성 평가 지표 이해하기

전이 학습의 개념과 텍스트 분류에서의 적용을 이해합니다. Transformers의 구조를 살펴보고, 이를 텍스트 분류와 생성 작업에 활용하는 방법을 배워요. 또한 어텐션 메커니즘과 텍스트 처리에서의 역할을 다룹니다. 마지막으로 텍스트 분류 모델에 대한 적대적 공격의 잠재적 영향을 이해하고, 모델을 보호하는 방법을 학습합니다.

Exercise 1: 텍스트 분류를 위한 전이 학습 Exercise 2: BERT를 활용한 전이 학습 Exercise 3: BERT 모델 평가하기 Exercise 4: 텍스트 처리를 위한 Transformers Exercise 5: 트랜스포머 모델 만들기 Exercise 6: Transformer 모델 학습과 테스트 Exercise 7: 텍스트 처리를 위한 어텐션 메커니즘 Exercise 8: 어텐션이 포함된 RNN 모델 만들기 Exercise 9: 어텐션을 적용한 RNN 모델 학습과 테스트 Exercise 10: 텍스트 분류 모델에 대한 적대적 공격 Exercise 11: 적대적 공격 분류 Exercise 12: PyBooks에서 AI 보호하기 Exercise 13: 마무리