텍스트 데이터에 익숙해지기

이 연습 문제에서는 The Big Bang Theory TV 쇼의 Sheldon Cooper 대사를 분석하며 텍스트 데이터로 놀아 보겠습니다. 실제 텍스트 데이터를 다룰 때 어떤 점을 살펴봐야 하는지 문장을 분석해 보면서 감을 익힐 수 있어요.

단어를 인덱스에 매핑하고, 반대로 인덱스를 단어에 매핑하는 딕셔너리를 딕셔너리 컴프리헨션으로 만들게 됩니다. 예를 들어 pandas.DataFrame 대신 딕셔너리를 사용하는 이유는 더 직관적이고 불필요한 복잡성을 줄일 수 있기 때문이에요.

데이터는 sheldon_quotes에 제공되며, 처음 두 문장은 미리 출력되어 있어요.

이 연습은 강의의 일부입니다

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

연습 안내

문장들을 join으로 하나의 변수로 합친 다음 모든 단어를 추출해, 이 리스트를 all_words에 저장하세요.
단어 리스트에 list(set())를 적용해 중복을 제거하고, 결과를 unique_words에 저장하세요.
딕셔너리 컴프리헨션을 사용해 인덱스를 키로, 단어를 값으로 하는 딕셔너리를 만드세요.
딕셔너리 컴프리헨션을 사용해 단어를 키로, 인덱스를 값으로 하는 딕셔너리를 만드세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Transform the list of sentences into a list of words
all_words = ' '.____(sheldon_quotes).split(' ')

# Get number of unique words
unique_words = list(set(all_words))

# Dictionary of indexes as keys and words as values
index_to_word = {____ for i, wd in enumerate(sorted(unique_words))}

print(index_to_word)

# Dictionary of words as keys and indexes as values
word_to_index = {wd:i for ____ in enumerate(sorted(unique_words))}

print(word_to_index)

코드 편집 및 실행

이 연습은 강의의 일부입니다

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 순환 신경망(RNN)의 기초를 학습합니다. 사전 지식부터 시작해, 네트워크에서 정보가 흐르는 방식과 감성 분류 과제에 Keras로 이러한 모델을 구현하는 방법까지 살펴봅니다.

Exercise 1: 강의 소개 Exercise 2: RNN과 ANN의 매개변수 수 비교 Exercise 3: 감성 분석 Exercise 4: 시퀀스 투 시퀀스 모델 Exercise 5: 언어 모델 소개 Exercise 6: 텍스트 데이터에 익숙해지기

현재 연습

Exercise 7: 모델 입력을 위한 텍스트 데이터 준비 Exercise 8: 새 텍스트 변환하기 Exercise 9: Keras에서 RNN 소개 Exercise 10: Keras 모델 Exercise 11: Keras 전처리 Exercise 12: 첫 번째 RNN 모델 만들기

RNN에서 자주 발생하는 기울기 소실과 폭주 문제를 배우고, 이를 GRU와 LSTM 셀로 어떻게 다루는지 알아봅니다. 또한 언어 모델을 위한 임베딩 레이어를 만들고, 감성 분류 과제를 다시 다뤄 보겠습니다.

Exercise 1: 기울기 소실과 폭주 Exercise 2: Exploding gradient 문제 Exercise 3: 기울기 소실 문제 Exercise 4: GRU와 LSTM 셀 Exercise 5: GRU 셀은 simpleRNN보다 더 좋아요 Exercise 6: RNN 레이어 쌓기 Exercise 7: Embedding 레이어 Exercise 8: 파라미터 수 비교 Exercise 9: 전이 학습 Exercise 10: 임베딩으로 성능 향상하기 Exercise 11: 감성 분류 다시 살펴보기 Exercise 12: 더 나은 감정 분류 Exercise 13: CNN 레이어 사용하기

이어서, 본 챕터에서는 다중 클래스 분류 과제를 위한 데이터 준비 방법과 다중 클래스 분류와 이진 분류(감성 분석)의 차이를 배웁니다. 마지막으로, Keras로 모델을 구성하고 성능을 측정하는 방법을 학습합니다.

Exercise 1: 데이터 전처리 Exercise 2: 레이블 벡터 준비하기 Exercise 3: 데이터 전처리 Exercise 4: 언어 모델을 위한 전이 학습 Exercise 5: 전이 학습 시작점 Exercise 6: Word2Vec Exercise 7: 다중 클래스 분류 모델 Exercise 8: 20 News Groups 데이터셋 탐색하기 Exercise 9: 뉴스 기사 분류하기 Exercise 10: 모델 성능 평가 Exercise 11: Precision-Recall 트레이드오프 Exercise 12: Precision(정밀도)일까요, Recall(재현율)일까요? 그것이 문제입니다 Exercise 13: 다중 클래스 분류의 성능

이 챕터에서는 RNN 모델의 두 가지 응용인 텍스트 생성과 신경 기계 번역을 소개합니다. 모델이 필요로 하는 형식에 맞게 텍스트 데이터를 준비하는 방법을 배웁니다. 텍스트 생성 모델은 특정 인물의 말투를 재현하는 데 사용되며, The Big Bang Theory의 Sheldon을 재미있게 모방해 볼 것입니다. 신경 기계 번역은 Google Translate 같은 서비스에서 훨씬 복잡한 모델로 사용됩니다. 이 챕터에서는 짧은 포르투갈어 문장을 영어로 번역하는 모델을 만들어 봅니다.

Exercise 1: 시퀀스 투 시퀀스 모델 Exercise 2: 텍스트 생성 예시 Exercise 3: NMT 예제 Exercise 4: 텍스트 생성 함수 Exercise 5: 다음 문자 예측하기 Exercise 6: 문맥을 반영해 문장 생성하기 Exercise 7: 확률 스케일 바꾸기 Exercise 8: 텍스트 생성 모델 Exercise 9: 문장과 다음 문자 벡터 만들기 Exercise 10: 훈련을 위한 데이터 준비 Exercise 11: 텍스트 생성 모델 만들기 Exercise 12: Neural Machine Translation Exercise 13: 입력 텍스트 준비하기 Exercise 14: 출력 텍스트 준비하기 Exercise 15: 포르투갈어를 영어로 번역하기 Exercise 16: 축하합니다!