사전 학습된 텍스트 생성 모델 평가하기

PyBooks 팀은 여러분이 실습했던 사전 학습된 GPT-2 모델을 사용해 주어진 프롬프트로부터 텍스트를 생성했어요. 이제 생성된 텍스트의 품질을 평가하고자 합니다. 이를 위해, 기준(reference) 텍스트를 사용해 생성된 텍스트를 평가해 달라고 여러분에게 맡겼어요.

BLEUScore, ROUGEScore는 미리 로드되어 있어요.

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

연습 안내

torchmetrics.text에서 제공하는 두 메트릭(BLEU, ROUGE)을 초기화하세요.
초기화한 메트릭을 사용해 생성된 텍스트와 기준 텍스트 사이의 점수를 계산하세요.
계산한 BLEU와 ROUGE 점수를 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."

# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()

# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])

# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)

코드 편집 및 실행

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 텍스트 딥러닝과 그 활용 분야를 소개합니다. PyTorch로 텍스트를 처리하는 방법을 배우고, 토큰화, 어간 추출, 불용어 제거 등 기법을 직접 실습해 보세요. 텍스트 데이터를 인코딩하는 중요성을 이해하고, PyTorch로 인코딩 기법을 구현합니다. 마지막으로 이러한 기법을 결합해 텍스트 처리 파이프라인을 구축하며 학습 내용을 정리합니다.

Exercise 1: 텍스트 전처리 소개 Exercise 2: 단어 빈도 분석 Exercise 3: 텍스트 전처리 Exercise 4: 텍스트 데이터 인코딩 Exercise 5: 원-핫 인코딩된 도서 제목 Exercise 6: 책 제목에 대한 Bag-of-Words Exercise 7: 책 소개 글에 TF-IDF 적용하기 Exercise 8: 텍스트 처리 파이프라인 구축 소개 Exercise 9: 셰익스피어 문어체 전처리 파이프라인 Exercise 10: 셰익스피어 문체 인코더

텍스트 분류와 그 역할을 Natural Language Processing(NLP)에서 살펴봅니다. PyTorch로 단어 임베딩을 구현하고, 텍스트 분류를 위해 Convolutional Neural Networks(CNN)와 Recurrent Neural Networks(RNN)를 구축해 보세요. 또한 적절한 지표를 사용해 모델을 평가하는 방법을 이해합니다.

Exercise 1: 텍스트 분류 개요 Exercise 2: PyTorch에서의 임베딩 Exercise 3: 텍스트 분류 과제 분류하기 Exercise 4: 텍스트 분류를 위한 합성곱 신경망 Exercise 5: 텍스트용 CNN 모델 구축하기 Exercise 6: 텍스트용 CNN 모델 학습 Exercise 7: 감성 분석 CNN 모델 테스트하기 Exercise 8: 텍스트 분류를 위한 순환 신경망 Exercise 9: 텍스트용 RNN 모델 구축 Exercise 10: 텍스트용 LSTM 모델 구축 Exercise 11: 텍스트를 위한 GRU 모델 구축 Exercise 12: 텍스트 분류를 위한 평가 지표 Exercise 13: RNN 분류 모델 평가하기 Exercise 14: 모델 성능 평가하기 Exercise 15: 모델 비교하기

텍스트 생성과 그 응용 분야를 탐구합니다. PyTorch를 활용해 Recurrent Neural Networks(RNN), Generative Adversarial Networks(GAN), 사전 학습 모델을 텍스트 생성 작업에 활용하는 방법을 익히세요. 아울러 관련 지표를 사용해 모델 성능을 평가하는 방법도 배웁니다.

Exercise 1: 텍스트 생성 소개 Exercise 2: 텍스트 생성을 위한 RNN 모델 만들기 Exercise 3: RNN을 활용한 텍스트 생성 - 학습과 생성 Exercise 4: 텍스트 생성을 위한 생성적 적대 신경망 Exercise 5: 생성기와 판별기 구축하기 Exercise 6: GAN 모델 학습하기 Exercise 7: 텍스트 생성용 사전 학습 모델 Exercise 8: 사전 학습된 GPT-2 모델로 텍스트 완성 Exercise 9: 사전 학습된 PyTorch 모델로 언어 번역하기 Exercise 10: 텍스트 생성의 평가 지표 Exercise 11: 사전 학습된 텍스트 생성 모델 평가하기

현재 연습

Exercise 12: 텍스트 생성 평가 지표 이해하기

전이 학습의 개념과 텍스트 분류에서의 적용을 이해합니다. Transformers의 구조를 살펴보고, 이를 텍스트 분류와 생성 작업에 활용하는 방법을 배워요. 또한 어텐션 메커니즘과 텍스트 처리에서의 역할을 다룹니다. 마지막으로 텍스트 분류 모델에 대한 적대적 공격의 잠재적 영향을 이해하고, 모델을 보호하는 방법을 학습합니다.

Exercise 1: 텍스트 분류를 위한 전이 학습 Exercise 2: BERT를 활용한 전이 학습 Exercise 3: BERT 모델 평가하기 Exercise 4: 텍스트 처리를 위한 Transformers Exercise 5: 트랜스포머 모델 만들기 Exercise 6: Transformer 모델 학습과 테스트 Exercise 7: 텍스트 처리를 위한 어텐션 메커니즘 Exercise 8: 어텐션이 포함된 RNN 모델 만들기 Exercise 9: 어텐션을 적용한 RNN 모델 학습과 테스트 Exercise 10: 텍스트 분류 모델에 대한 적대적 공격 Exercise 11: 적대적 공격 분류 Exercise 12: PyBooks에서 AI 보호하기 Exercise 13: 마무리