이 장에서는 가장 흔한 지저분한 데이터 문제를 해결하는 방법을 배웁니다. 데이터 타입을 변환하고, 미래 시점의 데이터 포인트를 제거하기 위해 범위 제약을 적용하며, 중복 데이터를 제거해 이중 집계를 피할 거예요.

데이터 유형 제약 조건

일반적인 데이터 타입

숫자형 데이터일까요, 아니면 ... ?

문자열을 더하고 숫자를 이어 붙이는 문제

데이터 범위 제약 조건

타이어 크기 범위 제한

Back to the future

고유성 제약 조건

부분집합의 크기는 어느 정도인가요?

중복값 찾기

중복 처리하기

일반적인 데이터 문제

범주형과 텍스트 데이터는 비정형적인 특성 때문에 종종 가장 지저분합니다. 이 장에서는 범주 라벨의 공백과 대소문자 불일치를 정리하고, 여러 범주를 하나로 합치며, 문자열 형식을 일관되게 재정렬하는 방법을 배웁니다.

멤버십 제약 조건

회원 전용

일관성 찾기

범주형 변수

오류의 범주

일관성 없는 범주

범주 재매핑

텍스트 데이터 정리

호칭 제거하고 이름 추출하기

설명적인 내용 유지하기

텍스트와 범주형 데이터 문제

이 장에서는 파운드 대신 모든 무게가 킬로그램으로 표기되도록 보장하는 것과 같은 더 고급 데이터 정제 문제를 다룹니다. 또한 값이 올바르게 합산되었는지 확인하고, 결측값이 분석에 부정적인 영향을 주지 않도록 검증하는 데 도움이 되는 중요한 기술도 익히게 됩니다.

일관성

모호한 날짜

통화 단위 통일하기

날짜 형식 통일하기

교차 필드 검증

옵션

교차 필드 검증 아님

교차 필드일까요, 아닐까요?

우리 데이터의 무결성은 어떤가요?

완전성

무작위로 결측인가요?

투자 정보 누락된 고객

돈의 흐름을 따라가 보세요

고급 데이터 문제

레코드 연결은 오탈자나 서로 다른 철자가 있을 때 여러 데이터셋을 하나로 병합하는 강력한 기법입니다. 이 장에서는 문자열 간 유사도를 계산해 레코드를 연결하는 방법을 배우고, 이를 활용해 두 개의 레스토랑 리뷰 데이터셋을 하나의 깔끔한 마스터 데이터셋으로 결합해 볼 거예요.

문자열 비교

최소 편집 거리

커트오프 지점

범주 재매핑 II

페어 생성하기

연결할까요, 말까요?

레스토랑 쌍 생성하기

유사한 레스토랑 찾기

DataFrame 연결하기

올바른 인덱스 가져오기

모두 연결하기!

축하합니다!

레코드 연결

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

데이터 과학자는 시간의 80%를 데이터 정제와 조작에, 20%만을 분석에 쓴다는 말이 흔히 있습니다. 정제에 들이는 시간은 매우 중요해요. 지저분한 데이터를 분석하면 부정확한 결론을 내릴 수 있기 때문입니다.

동영상에는 실시간 자막이 포함되어 있으며, 동영상 왼쪽 하단의 "Show transcript"를 클릭해 표시할 수 있어요.
강의 용어집은 오른쪽의 자료 섹션에서 확인할 수 있습니다.
CPE 학점을 받으려면 과정을 완료하고 자격 평가에서 70% 이상의 점수를 받아야 합니다. 오른쪽의 CPE 학점 안내를 클릭해 평가로 이동할 수 있어요.

데이터 정제는 데이터 과학에서 필수 작업입니다. 데이터를 제대로 정제하지 않으면 어떤 데이터 분석이나 Machine Learning 모델의 결과도 부정확해질 수 있어요. 이 강의에서는 Python에서 간단한 문제부터 고급 문제까지 다양한 데이터 정제 이슈를 식별하고 진단하며 해결하는 방법을 배웁니다. 부적절한 데이터 타입을 다루고, 데이터가 올바른 범위에 있는지 확인하며, 결측치를 처리하고, 레코드 연결(record linkage)도 수행해 볼 거예요!

Python Toolbox

Joining Data with pandas

4시간 코스에서 파이썬 데이터 정리를 마스터하세요. 일반 및 고급 데이터 문제와 기록 연결을 탐색합니다.

Python으로 데이터 정제하기

더러운 데이터를 진단하고 처리하는 방법을 배우고, 원시 데이터를 정확한 통찰력으로 전환하는 데 필요한 기술을 개발하세요! 

데이터 과학자 보조  in Python

데이터 엔지니어 in Python

데이터 가져오기 및 정리  in Python

모호한 날짜

Python으로 데이터 정제하기

실습형 인터랙티브 연습문제