결측치와 그것이 분석에 미치는 영향을 익혀 보세요! 데이터셋에서 널 값 처리 방식, 결측치를 찾는 법, 그리고 결측 현황을 요약하는 방법을 배웁니다.

왜 결측치를 처리해야 할까요?

누락값 처리 단계

널 값 연산

Null 값 찾기

결측값 처리하기

결측값 탐지하기

결측값 대체하기

숨겨진 결측값 바꾸기

결측치 규모 분석하기

결측 비율 분석하기

결측률 시각화하기

결측치 문제가 왜 중요할까요

데이터셋의 결측 유형을 분석하는 것은 결측값을 제대로 처리하기 위한 매우 중요한 단계입니다. 이 장에서는 결측치와 비결측치에서 패턴을 파악하는 방법을 자세히 배우고, 목록 삭제(listwise deletion) 같은 간단한 기법으로 결측을 적절히 처리하는 방법을 익힙니다.

데이터가 무작위로 누락되었나요?

결측 유형 맞혀보기

MNAR 추론하기

결측치에서 패턴 찾기

데이터에서 상관관계 찾기

결측 유형 식별하기

변수 전반의 결측 패턴 시각화

더미 값 채우기

결측 포함 산점도 생성하기

결측값을 언제, 어떻게 삭제할까요

MCAR 삭제

삭제하시겠어요?

결측치에 패턴이 있을까요?

데이터 대치의 세계로 떠나보세요! 이 장에서는 기본적인 대치 기법을 적용해 결측값을 채우고, 대치 결과를 시각화하여 성능을 평가할 수 있도록 합니다.

평균, 중앙값, 최빈값 대치

평균 및 중앙값 대치

최빈값 및 상수 대치

대치값 시각화하기

시계열 데이터 대치

시계열 결측치 채우기

interpolate 메서드로 결측치 대치하기

시계열 대치 결과 시각화

순방향 채우기 보간 시각화하기

Backward fill 대치 시각화하기

보간 결과 그리기

대치(Imputation) 기법

마지막으로, 단순 대치 기법을 넘어 Machine Learning 모델에 기반한 고급 대치 기법을 사용해 데이터셋을 최대한 활용해 보세요. KNN과 MICE 같은 방법을 사용하여 결측값을 더 정확하게 대치하고 평가합니다.

fancyimpute를 사용한 대체(임퓨테이션)

KNN 대치

MICE 대치

범주형 값 대치하기

범주형 열의 서열(ordinal) 인코딩

DataFrame의 서열형(Ordinal) 인코딩

범주형 값의 KNN 대치

다양한 대치 기법 평가

선형 모델 요약 분석하기

보정된 R-제곱 비교 및 최적 모델 선택

밀도 플롯 비교하기

마무리

고급 대치(Imputation) 기법

Air Quality

Diabetes

지저분한 데이터를 다루느라 지치셨나요? 데이터 과학자의 대부분의 시간은 데이터를 찾고, 정리하고, 재구성하는 데 쓰인다는 사실을 알고 계셨나요? 하지만 데이터를 똑똑하게 정리할 수 있습니다! 이 강의 'Python에서 결측치 다루기'에서는 바로 그 방법을 배웁니다. 숫자형, 범주형, 시계열 데이터의 결측값을 처리하는 법을 익히고, 결측치가 보이는 패턴도 파악해 볼 거예요. 대기 질과 당뇨병 데이터를 다루면서 결측 데이터를 분석하고, 대치(Impute)하며, 대치가 미치는 영향을 평가하는 방법까지 배웁니다.

Introduction to Data Visualization with Matplotlib

Supervised Learning with scikit-learn

수치, 범주, 시계열 데이터의 결측값을 처리하고 분석, 대체, 평가하는 방법을 배우세요.

Python에서 결측치 다루기

Python에서 결측치를 식별·분석하고 제거·대체(impute)하는 방법을 학습합니다.

Deep Learning & Computer Vision Consultant

누락 데이터의 가능한 원인

누락 유형

완전무작위 누락(MCAR)

MCAR - 예시

무작위 누락(MAR)

MAR - 예시

비무작위 누락(MNAR)

MNAR - 예시

요약

연습해 봅시다!

결측치에 패턴이 있을까요? - 데이터가 무작위로 누락되었나요?

데이터가 무작위로 누락되었나요?

Create Your Free Account