단어 빈도-역문서 빈도 (TF-IDF)

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Python으로 배우는 Machine Learning 특성 공학

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 특성 공학이 무엇인지, 그리고 실제 데이터에 어떻게 적용을 시작할 수 있는지 살펴봅니다. 설문 응답 데이터셋을 불러오고, 탐색하고, 시각화하면서 기본 데이터 유형을 이해하고, 그것이 특성 설계 방식에 어떤 영향을 미치는지 학습해요. pandas 패키지를 사용해 범주형 열과 연속형 열 모두에서 새로운 특성을 만들어 봅니다.

Exercise 1: 왜 피처를 만들어야 할까요?Exercise 2: 데이터와 친해지기 Exercise 3: 특정 데이터 타입 선택하기 Exercise 4: 범주형 특성 다루기 Exercise 5: 원-핫 인코딩과 더미 변수 Exercise 6: 드물게 나타나는 범주 처리하기 Exercise 7: 수치형 변수 Exercise 8: 열 이진화하기 Exercise 9: 값 구간화(Binning)

이 장에서는 지저분하고 불완전한 데이터의 현실을 다룹니다. 데이터의 결측값을 찾는 방법을 배우고, 이를 처리하는 여러 접근법을 탐색해요. 또한 문자열 조작 기법을 사용해 데이터셋의 불필요한 문자도 정리합니다.

Exercise 1: 결측값은 왜 생길까요?Exercise 2: 내 데이터는 얼마나 희소할까요?Exercise 3: 결측값 찾아보기 Exercise 4: 결측값 처리 (I)Exercise 5: 리스트와이즈 삭제 Exercise 6: 결측값을 상수로 대체하기 Exercise 7: 결측값 다루기 (II)Exercise 8: 연속형 결측값 채우기 Exercise 9: 예측 모델에서 결측값 대치하기 Exercise 10: 기타 데이터 문제 처리하기 Exercise 11: 불필요한 문자 처리 (I)Exercise 12: 불필요한 문자 처리하기 (II)Exercise 13: 메서드 체이닝

이 장에서는 데이터의 분포 특성을 분석하고, 그것이 Machine Learning 파이프라인에 어떤 영향을 미칠지에 집중합니다. 왜도(skew)가 있는 데이터를 다루는 방법과 이상치가 분석에 부정적인 영향을 줄 수 있는 상황을 처리하는 방법을 배우게 됩니다.

Exercise 1: 데이터 분포 Exercise 2: 데이터는 어떤 모습인가요? (I)Exercise 3: 데이터는 어떻게 생겼을까요? (II)Exercise 4: 언제 데이터를 변환하지 않아도 될까요?Exercise 5: 스케일링과 변환 Exercise 6: 정규화 Exercise 7: 표준화 Exercise 8: 로그 변환 Exercise 9: 정규화를 언제 사용할 수 있나요?Exercise 10: 이상치 제거하기 Exercise 11: 백분율 기반 이상치 제거 Exercise 12: 통계적 이상치 제거 Exercise 13: 새로운 데이터 스케일링과 변환 Exercise 14: 학습/테스트 변환 (I)Exercise 15: Train and testing transformations (II)

마지막으로, 비정형 텍스트 데이터를 다루며 텍스트 말뭉치에서 열 형태의 특성을 만들어 내는 다양한 방법을 익힙니다. 서로 다른 접근 방식이 텍스트에서 얼마나 많은 문맥을 추출하는지에 어떤 영향을 미치는지 비교하고, 지나치게 많은 특성을 만들지 않으면서도 필요한 문맥을 확보하는 균형점을 찾아봅니다.

Exercise 1: 텍스트 인코딩 Exercise 2: 텍스트 정리하기 Exercise 3: 상위 수준 텍스트 특성 Exercise 4: 단어 개수 Exercise 5: 단어 세기 (I)Exercise 6: 단어 개수 세기 (II)Exercise 7: 특성 수 제한하기 Exercise 8: 텍스트를 DataFrame으로 Exercise 9: 단어 빈도-역문서 빈도 (TF-IDF)

현재 연습

Exercise 10: Tf-idf Exercise 11: Tf-idf 값 살펴보기 Exercise 12: 보지 못한 데이터 변환하기 Exercise 13: N-그램 Exercise 14: 더 긴 n-gram 사용하기 Exercise 15: 가장 흔한 단어 찾기 Exercise 16: 마무리