파라미터 수 비교

원-핫 표현은 매우 희소해서 단어를 표현하기에 좋지 않다는 것을 보셨죠. Embedding 레이어를 사용하면 벡터의 밀집 표현을 만들 수 있지만, 학습해야 하는 파라미터 수도 많아져요.

이 연습 문제에서는 embeddings와 one-hot 인코딩을 사용하는 두 모델의 파라미터 수를 비교해 차이를 확인해 보겠습니다.

환경에는 이미 model_onehot 모델이 로드되어 있고, keras에서 Sequential, Dense, GRU도 사용할 수 있어요. 마지막으로, vocabulary_size=80000과 sentence_len=200 파라미터도 로드되어 있습니다.

이 연습은 강의의 일부입니다

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

연습 안내

keras.layers에서 Embedding 레이어를 임포트하세요.
임베딩 레이어에서 입력 차원은 어휘 크기에 1을 더한 값으로, 입력 길이는 문장 길이로 설정하세요.
모델을 컴파일하세요.
임베딩을 포함한 모델의 summary를 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Import the embedding layer
from tensorflow.keras.layers import ____

# Create a model with embeddings
model = Sequential(name="emb_model")
model.add(Embedding(input_dim=____, output_dim=wordvec_dim, input_length=____, trainable=True))
model.add(GRU(128))
model.add(Dense(1))
model.____(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Print the summaries of the one-hot model
model_onehot.summary()

# Print the summaries of the model with embeddings
model.____

코드 편집 및 실행

이 연습은 강의의 일부입니다

Keras로 배우는 언어 모델링을 위한 순환 신경망(RNN)

SkillTag.level.advancedSkillTag.label

4.8+

무료로 강의 시작하기

이 챕터에서는 순환 신경망(RNN)의 기초를 학습합니다. 사전 지식부터 시작해, 네트워크에서 정보가 흐르는 방식과 감성 분류 과제에 Keras로 이러한 모델을 구현하는 방법까지 살펴봅니다.

Exercise 1: 강의 소개 Exercise 2: RNN과 ANN의 매개변수 수 비교 Exercise 3: 감성 분석 Exercise 4: 시퀀스 투 시퀀스 모델 Exercise 5: 언어 모델 소개 Exercise 6: 텍스트 데이터에 익숙해지기 Exercise 7: 모델 입력을 위한 텍스트 데이터 준비 Exercise 8: 새 텍스트 변환하기 Exercise 9: Keras에서 RNN 소개 Exercise 10: Keras 모델 Exercise 11: Keras 전처리 Exercise 12: 첫 번째 RNN 모델 만들기

RNN에서 자주 발생하는 기울기 소실과 폭주 문제를 배우고, 이를 GRU와 LSTM 셀로 어떻게 다루는지 알아봅니다. 또한 언어 모델을 위한 임베딩 레이어를 만들고, 감성 분류 과제를 다시 다뤄 보겠습니다.

Exercise 1: 기울기 소실과 폭주 Exercise 2: Exploding gradient 문제 Exercise 3: 기울기 소실 문제 Exercise 4: GRU와 LSTM 셀 Exercise 5: GRU 셀은 simpleRNN보다 더 좋아요 Exercise 6: RNN 레이어 쌓기 Exercise 7: Embedding 레이어 Exercise 8: 파라미터 수 비교

현재 연습

Exercise 9: 전이 학습 Exercise 10: 임베딩으로 성능 향상하기 Exercise 11: 감성 분류 다시 살펴보기 Exercise 12: 더 나은 감정 분류 Exercise 13: CNN 레이어 사용하기

이어서, 본 챕터에서는 다중 클래스 분류 과제를 위한 데이터 준비 방법과 다중 클래스 분류와 이진 분류(감성 분석)의 차이를 배웁니다. 마지막으로, Keras로 모델을 구성하고 성능을 측정하는 방법을 학습합니다.

Exercise 1: 데이터 전처리 Exercise 2: 레이블 벡터 준비하기 Exercise 3: 데이터 전처리 Exercise 4: 언어 모델을 위한 전이 학습 Exercise 5: 전이 학습 시작점 Exercise 6: Word2Vec Exercise 7: 다중 클래스 분류 모델 Exercise 8: 20 News Groups 데이터셋 탐색하기 Exercise 9: 뉴스 기사 분류하기 Exercise 10: 모델 성능 평가 Exercise 11: Precision-Recall 트레이드오프 Exercise 12: Precision(정밀도)일까요, Recall(재현율)일까요? 그것이 문제입니다 Exercise 13: 다중 클래스 분류의 성능

이 챕터에서는 RNN 모델의 두 가지 응용인 텍스트 생성과 신경 기계 번역을 소개합니다. 모델이 필요로 하는 형식에 맞게 텍스트 데이터를 준비하는 방법을 배웁니다. 텍스트 생성 모델은 특정 인물의 말투를 재현하는 데 사용되며, The Big Bang Theory의 Sheldon을 재미있게 모방해 볼 것입니다. 신경 기계 번역은 Google Translate 같은 서비스에서 훨씬 복잡한 모델로 사용됩니다. 이 챕터에서는 짧은 포르투갈어 문장을 영어로 번역하는 모델을 만들어 봅니다.

Exercise 1: 시퀀스 투 시퀀스 모델 Exercise 2: 텍스트 생성 예시 Exercise 3: NMT 예제 Exercise 4: 텍스트 생성 함수 Exercise 5: 다음 문자 예측하기 Exercise 6: 문맥을 반영해 문장 생성하기 Exercise 7: 확률 스케일 바꾸기 Exercise 8: 텍스트 생성 모델 Exercise 9: 문장과 다음 문자 벡터 만들기 Exercise 10: 훈련을 위한 데이터 준비 Exercise 11: 텍스트 생성 모델 만들기 Exercise 12: Neural Machine Translation Exercise 13: 입력 텍스트 준비하기 Exercise 14: 출력 텍스트 준비하기 Exercise 15: 포르투갈어를 영어로 번역하기 Exercise 16: 축하합니다!