이 장에서는 가장 흔한 지저분한 데이터 문제를 해결하는 방법을 배웁니다. 데이터 타입을 변환하고, 미래 시점의 값을 제거하기 위해 범위 제한을 적용하며, 중복된 데이터를 제거해 이중 집계를 피할 거예요.

데이터 유형 제약 조건

일반적인 데이터 타입

데이터 타입 변환하기

문자열 다듬기

범위 제한

주행 시간 범위 제약

Back to the future

고유성 제약

완전 중복

부분 중복 제거하기

부분 중복 집계하기

흔한 데이터 문제

범주형과 텍스트 데이터는 비정형이라는 특성 때문에 데이터셋에서 가장 지저분한 부분이 되곤 합니다. 이 장에서는 범주 라벨의 공백과 대소문자 불일치를 고치고, 여러 범주를 하나로 통합하며, 문자열 형식을 일관되게 재구성하는 방법을 배웁니다.

멤버십 확인하기

Members only

회원이 아님

범주형 데이터 문제

불일치 찾아보기

불일치 수정하기

범주 합치기

텍스트 데이터 정리하기

일관성 없는 텍스트 데이터 탐지

치환과 제거

유효하지 않은 전화번호

범주형과 텍스트 데이터

이 장에서는 파운드 대신 킬로그램으로 무게를 통일하는 것처럼 더 고급의 데이터 정리 문제를 다룹니다. 또한 값이 올바르게 입력되었는지 검증하고, 결측치가 분석에 부정적 영향을 주지 않도록 하는 데 필요한 핵심 기술을 익힐 수 있어요.

일관성

날짜 형식 통일하기

통화 단위 일관성 유지

교차 필드 검증

합계 검증하기

나이 검증

완전성

Options

무작위 완전 결측(MCAR)

무작위 결측(MAR)

비무작위 결측(MNAR)

결측 유형

결측치 시각화하기

결측치 처리하기

고급 데이터 문제

Record linkage는 값에 오탈자나 철자 차이가 있을 때 여러 데이터셋을 하나로 병합하는 강력한 기법입니다. 이 장에서는 문자열 간 유사도를 계산해 레코드를 연결하는 방법을 배우고, 이를 활용해 두 개의 음식점 리뷰 데이터셋을 하나의 깔끔한 마스터 데이터셋으로 결합합니다.

문자열 비교하기

거리 계산하기

거리가 작으면, 차이도 작아요

문자열 거리로 오타 바로잡기

페어 생성 및 비교

연계할까, 조인할까?

페어 블로킹

쌍 비교하기

점수 계산과 연결

먼저 점수화 후 선택? 아니면 먼저 선택 후 점수화?

모두 합쳐 보기

축하합니다!

Record Linkage

Bike Sharing

Fodor's

Zagat

SFO Satisfaction Survey

Customer Accounts

<h2>R에서 중복 제거 등 흔한 데이터 문제 해결하기</h2>
데이터 과학자는 시간의 80%를 데이터 정리와 조작에, 20%만 분석에 쓴다는 말이 있죠. 정리는 필수입니다. 지저분한 데이터를 분석하면 잘못된 결론에 이를 수 있기 때문이에요.
<br><br>
이 강의에서는 R을 사용해 지저분한 데이터를 정리하는 다양한 기법을 배웁니다. 데이터 타입을 변환하고, 값의 범위를 제한하며, 완전/부분 중복을 처리해 이중 집계를 방지하는 것부터 시작해요.
<br><br>
<h2>더 어려운 데이터 문제에 도전하기</h2>
흔한 문제를 다뤄 본 뒤에는 단위 일관성 보장, 결측치 처리와 같은 고급 과제에 도전합니다. 각 개념을 배운 뒤에는 실습을 통해 바로 적용해 보며 이해를 확실히 다질 수 있어요.
<br><br>
<h2>데이터 정리에서 Record Linkage 활용하기</h2>
Record Linkage는 오탈자나 철자 차이가 있어도 데이터셋을 병합할 때 사용하는 기법입니다. 마지막 장에서는 이 유용한 방법을 살펴보고, 두 개의 음식점 리뷰 데이터셋을 하나로 결합하는 실습으로 적용해 봅니다.

Joining Data with dplyr

데이터를 신속하고 정확하게 정리하여 비즈니스가 원시 데이터에서 통찰력으로 전환되도록 돕습니다.

R로 데이터 정리하기

원시 데이터에서 유의미한 인사이트로 빠르게 나아가도록, 데이터를 신속하고 정확하게 정제하는 방법을 학습합니다.

데이터 과학자 보조 in R

데이터 가져오기 및 정리  in R

설문지가 우편 배송 중 무작위로 분실되었어요.

특정 학군의 학생들만 시험 점수가 결측이고, 다른 학군은 결측이 없어요.

젊은 사람들은 병원에서 혈압을 잴 가능성이 더 낮아 의무기록에 혈압 데이터가 결측으로 남았어요.

저울의 최대 한계가 30 lbs여서, 30 lbs를 초과하는 배송 물품은 무게가 기록되지 않아요.

야간 근무 시간에 검사한 혈액 샘플은 오염될 가능성이 더 높아 검사 결과가 결측될 확률이 컸지만, 검사 시간이 기록되지 않았어요.

결측 유형

R로 데이터 정리하기

실습형 인터랙티브 연습문제