결측값 식별하기

이직률(attrition)은 기업에 매우 중요한 이슈예요. 직원을 한 명 잃으면 신규 채용과 교육 비용이 들 뿐 아니라, 회복하기 어려운 암묵지와 조직 문화를 잃게 됩니다.

attrition 데이터셋에는 직원 이직과 관련된 정보가 담겨 있으며, Age, WorkLifeBalance, DistanceFromHome, StockOptionLevel 등 27개 이상의 변수가 포함되어 있어요. 분석을 계속하기 전에, 결측값이 있는 변수를 먼저 확인해 보려고 합니다.

naniar 패키지와 attrition 데이터셋은 이미 로드되어 있습니다.

이 연습은 강의의 일부입니다

R로 배우는 Feature Engineering

강의 보기

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Explore missing data on the attrition dataset
___(attrition)

코드 편집 및 실행

이 연습은 강의의 일부입니다

R로 배우는 Feature Engineering

SkillTag.level.intermediateSkillTag.label

4.8+

149 reviews

무료로 강의 시작하기

원시 데이터(raw data)는 분석에 가장 알맞은 형태로 오지 않는 경우가 많아요. 이 도입 장에서는 모델의 성능과 해석 가능성을 높이는 변환과 feature 생성의 첫걸음을 배웁니다.

Exercise 1: Feature engineering이란 무엇인가요?Exercise 2: 임시 모델 만들어 보기 Exercise 3: 수작업으로 특성 만들기 Exercise 4: 도메인 지식을 활용한 새로운 특성 만들기 Exercise 5: 분석을 위한 데이터 준비하기 Exercise 6: 워크플로 빌드하기 Exercise 7: 원시 데이터의 정보량 높이기 Exercise 8: 결측값 식별하기

현재 연습

Exercise 9: 결측값 대치와 더미 변수 생성 Exercise 10: 모델 적합과 성능 평가 Exercise 11: 호텔 예약 예측하기

이 장에서는 수작업 변환을 넘어, tidyverse의 도구를 활용해 프로그래밍 방식으로 새 변수를 만들어내는 방법을 배웁니다. 이 접근이 모델의 재현 가능성을 높이고, feature가 많은 데이터셋을 다룰 때 특히 유용하다는 점을 살펴봅니다.

Exercise 1: 기존 피처를 왜 변환하나요?Exercise 2: 데이터 빠르게 살펴보기 Exercise 3: 정규화와 로그 변환 Exercise 4: 적합하고 보강하기 Exercise 5: 모델 평가 지표를 직접 구성하기 Exercise 6: 자주 쓰이는 특성 변환 Exercise 7: 공통 변환 Exercise 8: 기본 레시피 Exercise 9: Box-Cox 변환 Exercise 10: Yeo-Johnson 변환 Exercise 11: 고급 변환 Exercise 12: 베이스라인 Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: 누가 남아 있을까요?

이제 모델이 차원 축소와 고차원 데이터에서의 feature 추출로 자주 이점을 얻는다는 점을 학습합니다. 여기에는 텍스트 데이터를 수치로 변환하고, 범주형 데이터를 인코딩하며, 변수의 예측력을 평가하는 작업이 포함됩니다. 주성분분석(PCA), 커널 주성분분석(Kernel PCA), 텍스트에서의 수치 추출, 범주형 인코딩, 변수 중요도 점수 등의 방법을 살펴봅니다.

Exercise 1: 차원 축소 Exercise 2: 준비 단계 다지기 Exercise 3: 구조 파헤치기 Exercise 4: 설명된 분산의 백분율 Exercise 5: 설명된 분산 시각화하기 Exercise 6: 피처 해싱 Exercise 7: Education field 살펴보기 Exercise 8: 행렬로 들어가기 Exercise 9: 해싱 탐색하기 Exercise 10: 해싱 시각화하기 Exercise 11: 감독 학습을 활용한 범주형 데이터 인코딩 Exercise 12: 워크플로 설정하기 Exercise 13: 적합, 보강, 그리고 평가 Exercise 14: 모델을 묶어서 비교하기 Exercise 15: 변수 중요도 Exercise 16: 워크플로우 만들기 Exercise 17: 적합 및 보강 Exercise 18: 주요 예측 변수는 무엇일까요?

마지막 장에서는 feature engineering과 Machine Learning 기법을 종합합니다. 먼저 모델에 사용 가능한 모든 feature를 그대로 쓰는 데 따른 문제점과, 무관하거나 중복된 feature를 식별해 제거하는 것의 중요성을 배우고, lasso와 elastic-net 같은 내재형(embedded) 방법으로 이를 제거하는 법을 익힙니다. 다음으로 lasso, ridge, elastic-net과 같은 수축(shrinkage) 방법을 살펴보며, 가중치를 정규화하거나 계수를 0으로 만들어 feature를 선택하는 데 활용하는 방법을 배웁니다. 마지막으로 end-to-end feature engineering 워크플로를 구축하고, 소규모 프로젝트에서 앞서 배운 개념과 함수를 복습하고 실습합니다.

Exercise 1: 모델의 특징 수 줄이기 Exercise 2: 변수 중요도 살펴보기 Exercise 3: 사용 가능한 모든 예측 변수를 이용한 모델 성능 평가 Exercise 4: 축소 모델 구축하기 Exercise 5: 수축 기법 Exercise 6: Lasso로 수동 규제하기 Exercise 7: 패널티 튜닝하기 Exercise 8: 모델 최종 확정하기 Exercise 9: 모든 내용을 하나로 정리하기 Exercise 10: 준비와 분할 Exercise 11: 전처리 Exercise 12: 모델 Exercise 13: 평가 Exercise 14: 축하합니다!