데이터 빠르게 살펴보기

이제 모델이 차원 축소와 고차원 데이터에서의 feature 추출로 자주 이점을 얻는다는 점을 학습합니다. 여기에는 텍스트 데이터를 수치로 변환하고, 범주형 데이터를 인코딩하며, 변수의 예측력을 평가하는 작업이 포함됩니다. 주성분분석(PCA), 커널 주성분분석(Kernel PCA), 텍스트에서의 수치 추출, 범주형 인코딩, 변수 중요도 점수 등의 방법을 살펴봅니다.

Exercise 1: 차원 축소 Exercise 2: 준비 단계 다지기 Exercise 3: 구조 파헤치기 Exercise 4: 설명된 분산의 백분율 Exercise 5: 설명된 분산 시각화하기 Exercise 6: 피처 해싱 Exercise 7: Education field 살펴보기 Exercise 8: 행렬로 들어가기 Exercise 9: 해싱 탐색하기 Exercise 10: 해싱 시각화하기 Exercise 11: 감독 학습을 활용한 범주형 데이터 인코딩 Exercise 12: 워크플로 설정하기 Exercise 13: 적합, 보강, 그리고 평가 Exercise 14: 모델을 묶어서 비교하기 Exercise 15: 변수 중요도 Exercise 16: 워크플로우 만들기 Exercise 17: 적합 및 보강 Exercise 18: 주요 예측 변수는 무엇일까요?

마지막 장에서는 feature engineering과 Machine Learning 기법을 종합합니다. 먼저 모델에 사용 가능한 모든 feature를 그대로 쓰는 데 따른 문제점과, 무관하거나 중복된 feature를 식별해 제거하는 것의 중요성을 배우고, lasso와 elastic-net 같은 내재형(embedded) 방법으로 이를 제거하는 법을 익힙니다. 다음으로 lasso, ridge, elastic-net과 같은 수축(shrinkage) 방법을 살펴보며, 가중치를 정규화하거나 계수를 0으로 만들어 feature를 선택하는 데 활용하는 방법을 배웁니다. 마지막으로 end-to-end feature engineering 워크플로를 구축하고, 소규모 프로젝트에서 앞서 배운 개념과 함수를 복습하고 실습합니다.

Exercise 1: 모델의 특징 수 줄이기 Exercise 2: 변수 중요도 살펴보기 Exercise 3: 사용 가능한 모든 예측 변수를 이용한 모델 성능 평가 Exercise 4: 축소 모델 구축하기 Exercise 5: 수축 기법 Exercise 6: Lasso로 수동 규제하기 Exercise 7: 패널티 튜닝하기 Exercise 8: 모델 최종 확정하기 Exercise 9: 모든 내용을 하나로 정리하기 Exercise 10: 준비와 분할 Exercise 11: 전처리 Exercise 12: 모델 Exercise 13: 평가 Exercise 14: 축하합니다!