단어 빈도 분석

축하합니다! 여러분은 이제 PyBooks 팀의 일원이 되었어요. PyBooks는 도서 추천 시스템을 개발 중이며, 추천 품질을 높이기 위해 텍스트에서 패턴과 추세를 찾고자 합니다.

먼저, 주어진 텍스트에서 단어의 빈도를 파악하고 드문 단어를 제거해 보세요.

참고로, 실제 현업 데이터셋은 이 예시보다 훨씬 큰 경우가 많습니다.

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

연습 안내

torchtext에서 get_tokenizer를, nltk 라이브러리에서 FreqDist를 임포트하세요.
영어용 토크나이저를 초기화하고 주어진 text를 토큰화하세요.
tokens의 빈도 분포를 계산하고, 리스트 컴프리헨션으로 희귀 단어를 제거하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import the necessary functions
from torchtext.data.utils import ____
from nltk.probability import ____

text = "In the city of Dataville, a data analyst named Alex explores hidden insights within vast data. With determination, Alex uncovers patterns, cleanses the data, and unlocks innovation. Join this adventure to unleash the power of data-driven decisions."

# Initialize the tokenizer and tokenize the text
tokenizer = ____("basic_english")
tokens = tokenizer(____)

threshold = 1
# Remove rare words and print common tokens
freq_dist = ____(____)
common_tokens = [token for token in tokens if ____[token] > ____]
print(common_tokens)

코드 편집 및 실행

이 연습은 강의의 일부입니다

PyTorch로 배우는 텍스트 딥러닝

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 텍스트 딥러닝과 그 활용 분야를 소개합니다. PyTorch로 텍스트를 처리하는 방법을 배우고, 토큰화, 어간 추출, 불용어 제거 등 기법을 직접 실습해 보세요. 텍스트 데이터를 인코딩하는 중요성을 이해하고, PyTorch로 인코딩 기법을 구현합니다. 마지막으로 이러한 기법을 결합해 텍스트 처리 파이프라인을 구축하며 학습 내용을 정리합니다.

Exercise 1: 텍스트 전처리 소개 Exercise 2: 단어 빈도 분석

현재 연습

Exercise 3: 텍스트 전처리 Exercise 4: 텍스트 데이터 인코딩 Exercise 5: 원-핫 인코딩된 도서 제목 Exercise 6: 책 제목에 대한 Bag-of-Words Exercise 7: 책 소개 글에 TF-IDF 적용하기 Exercise 8: 텍스트 처리 파이프라인 구축 소개 Exercise 9: 셰익스피어 문어체 전처리 파이프라인 Exercise 10: 셰익스피어 문체 인코더

텍스트 분류와 그 역할을 Natural Language Processing(NLP)에서 살펴봅니다. PyTorch로 단어 임베딩을 구현하고, 텍스트 분류를 위해 Convolutional Neural Networks(CNN)와 Recurrent Neural Networks(RNN)를 구축해 보세요. 또한 적절한 지표를 사용해 모델을 평가하는 방법을 이해합니다.

Exercise 1: 텍스트 분류 개요 Exercise 2: PyTorch에서의 임베딩 Exercise 3: 텍스트 분류 과제 분류하기 Exercise 4: 텍스트 분류를 위한 합성곱 신경망 Exercise 5: 텍스트용 CNN 모델 구축하기 Exercise 6: 텍스트용 CNN 모델 학습 Exercise 7: 감성 분석 CNN 모델 테스트하기 Exercise 8: 텍스트 분류를 위한 순환 신경망 Exercise 9: 텍스트용 RNN 모델 구축 Exercise 10: 텍스트용 LSTM 모델 구축 Exercise 11: 텍스트를 위한 GRU 모델 구축 Exercise 12: 텍스트 분류를 위한 평가 지표 Exercise 13: RNN 분류 모델 평가하기 Exercise 14: 모델 성능 평가하기 Exercise 15: 모델 비교하기

텍스트 생성과 그 응용 분야를 탐구합니다. PyTorch를 활용해 Recurrent Neural Networks(RNN), Generative Adversarial Networks(GAN), 사전 학습 모델을 텍스트 생성 작업에 활용하는 방법을 익히세요. 아울러 관련 지표를 사용해 모델 성능을 평가하는 방법도 배웁니다.

Exercise 1: 텍스트 생성 소개 Exercise 2: 텍스트 생성을 위한 RNN 모델 만들기 Exercise 3: RNN을 활용한 텍스트 생성 - 학습과 생성 Exercise 4: 텍스트 생성을 위한 생성적 적대 신경망 Exercise 5: 생성기와 판별기 구축하기 Exercise 6: GAN 모델 학습하기 Exercise 7: 텍스트 생성용 사전 학습 모델 Exercise 8: 사전 학습된 GPT-2 모델로 텍스트 완성 Exercise 9: 사전 학습된 PyTorch 모델로 언어 번역하기 Exercise 10: 텍스트 생성의 평가 지표 Exercise 11: 사전 학습된 텍스트 생성 모델 평가하기 Exercise 12: 텍스트 생성 평가 지표 이해하기

전이 학습의 개념과 텍스트 분류에서의 적용을 이해합니다. Transformers의 구조를 살펴보고, 이를 텍스트 분류와 생성 작업에 활용하는 방법을 배워요. 또한 어텐션 메커니즘과 텍스트 처리에서의 역할을 다룹니다. 마지막으로 텍스트 분류 모델에 대한 적대적 공격의 잠재적 영향을 이해하고, 모델을 보호하는 방법을 학습합니다.

Exercise 1: 텍스트 분류를 위한 전이 학습 Exercise 2: BERT를 활용한 전이 학습 Exercise 3: BERT 모델 평가하기 Exercise 4: 텍스트 처리를 위한 Transformers Exercise 5: 트랜스포머 모델 만들기 Exercise 6: Transformer 모델 학습과 테스트 Exercise 7: 텍스트 처리를 위한 어텐션 메커니즘 Exercise 8: 어텐션이 포함된 RNN 모델 만들기 Exercise 9: 어텐션을 적용한 RNN 모델 학습과 테스트 Exercise 10: 텍스트 분류 모델에 대한 적대적 공격 Exercise 11: 적대적 공격 분류 Exercise 12: PyBooks에서 AI 보호하기 Exercise 13: 마무리