이 장에서는 결측치와 이상치 처리, 데이터 정규화 등 예측용 Machine Learning 모델을 만들기 위해 필요한 모든 전처리 단계를 수행해 봅니다.

결측치 처리

결측값 찾기

단순 대치(Simple imputation)

반복적 대치(Iterative imputation)

데이터 분포와 변환

훈련 세트 vs 테스트 세트의 분포와 변환

Train/Test 분포

로그와 거듭제곱 변환

데이터 이상치와 스케일링

이상치 탐지

이상치 처리하기

Z-점수 표준화

데이터 전처리와 시각화

이 장에서는 지도 학습 기법의 여러 측면을 연습합니다. 최적 특성 부분집합 선택, 과적합 방지를 위한 정규화, 특성 공학, 그리고 편향-분산 균형을 다루기 위한 앙상블 모델을 실습합니다.

회귀: 특징 선택

최적 특성 부분집합

필터와 래퍼 메서드

특성 중요도를 활용한 Feature selection

회귀: 정규화

과적합 피하기

Lasso 정규화

Ridge 정규화

분류: 특성 공학

분류 모델의 피처

로지스틱 회귀 기준 분류기

앙상블 방법

부트스트랩 집계(Bagging)

Boosting

XGBoost

지도 학습

이 장에서는 비지도 학습을 활용해 차원 축소를 위한 특성 추출과 시각화 기법을 적용하고, 적절한 클러스터링 알고리즘 선택과 최적 클러스터 개수 결정을 위한 클러스터링 방법을 연습합니다.

차원 축소: 특성 추출

차원의 저주

주성분 분석

특이값 분해(SVD)

차원 축소: 시각화 기법

고차원 데이터 차원 축소

PCA로 클래스 분리 시각화 I

스크리 플롯으로 주성분 시각화하기

클러스터링 분석: 올바른 클러스터링 알고리즘 선택하기

클러스터링 알고리즘

K-means 클러스터링

계층적 응집 군집화

클러스터링 분석: 최적 클러스터 수 선택하기

최적의 k는 무엇인가요?

실루엣 방법

엘보 방법

비지도 학습

마지막 장에서는 한 단계 더 나아가, 부트스트래핑과 교차 검증으로 모델 일반화 성능을 평가하고, 불균형 클래스에 대한 리샘플링 기법을 적용하며, 다중공선성을 탐지·제거하고, 앙상블 모델을 구축합니다.

모형 일반화: 부트스트래핑과 교차 검증

모델 성능 검증

의사결정나무

의사결정나무의 숲

모델 평가: 불균형 분류 모델

X-ray 무기 탐지

불균형 클래스 지표

재표본추출 기법

모델 선택: 회귀 모델

다중공선성 해결하기

다중공선성 기법 - 피처 엔지니어링

다중공선성 처리 기법 - PCA

모델 선택: 앙상블 모델

Random Forest vs Gradient Boosting

랜덤 포레스트 앙상블

그래디언트 부스팅 앙상블

마무리

모델 선택과 평가

Loans training set (reduced)

Diabetes

Loans dataset

Machine Learning 면접은 어떻게 준비해야 할까요? 이 과정에서는 데이터 사이언티스트 직무를 위한 Python 기반의 대표적인 Machine Learning(ML) 면접 질문 15개에 대한 답변을 준비해 봅니다.
 
질문은 데이터 전처리, 데이터 시각화, 지도 학습, 비지도 학습, 앙상블, 모델 선택, 모델 평가의 일곱 가지 핵심 주제를 다룹니다.
 
먼저 데이터 전처리와 데이터 시각화 관련 질문부터 시작해요. 필요한 전처리 단계를 모두 수행한 뒤, 실전 역량을 다지기 위해 예측용 ML 모델을 만들어 봅니다.
 
다음으로 지도 학습 기법을 살펴본 뒤 비지도 학습으로 넘어갑니다. 역할에 따라, Machine Learning 면접에서는 두 주제 모두를 다루는 경우가 많습니다.
 
마지막으로 모델 선택과 평가를 정리하면서, 모델 일반화 성능을 평가하는 방법을 알아보고, 앙상블 모델을 구축하며 다양한 기법을 살펴봅니다.
 
이 과정을 마치면, 필요한 이론적 배경과 함께 Python 코드로 15개 질문에 성공적으로 답할 수 있는 능력을 갖추게 됩니다.
 
코딩 예시는 사용이 쉽고 Python에서 가장 중요한 Machine Learning 기법을 폭넓게 지원하는 scikit-learn 패키지를 주로 활용합니다.
 
이 과정은 기본적인 Machine Learning 이론을 따로 설명하지 않습니다. 해당 내용은 선수 과목에서 다룹니다.

Unsupervised Learning in Python

Supervised Learning with scikit-learn

다음 면접을 위해 머신러닝 면접 질문을 연습하세요. Python으로 필수 주제와 이상적인 답변을 알아보세요.

Python으로 연습하는 Machine Learning 면접 질문

Python 머신러닝 면접 질문을 연습해 지식을 다지고 다음 면접을 준비하세요.

데이터 이상치와 스케일링

Create Your Free Account