DataFrame 기본 개념을 복습하고 데이터 정제의 중요성을 살펴봅니다.

Apache Spark로 데이터 정제 소개

데이터 정제 복습

스키마 정의하기

불변성과 지연 처리

불변성 복습

지연 처리(lazy processing) 사용하기

Parquet 이해하기

Parquet 형식으로 DataFrame 저장하기

SQL과 Parquet

DataFrame 자세히 알아보기

Spark에서 DataFrame의 내용을 수정하는 다양한 기법을 알아봅니다.

DataFrame 열 작업

Python으로 열 내용 필터링하기

필터링 질문 #1

Filtering 질문 #2

DataFrame 열 수정하기

조건부 DataFrame 열 연산

when() 예시

When / Otherwise

사용자 정의 함수

사용자 정의 함수 이해하기

Spark에서 사용자 정의 함수 사용하기

파티셔닝과 지연 처리

ID 필드 추가하기

파티션 수가 다른 경우의 ID

더 다양한 ID 처리 요령

현실 세계의 DataFrame 조작

성능을 높이거나 리소스 사용을 줄여 데이터 정제 작업을 개선합니다.

캐싱

DataFrame 캐시하기

캐시에서 DataFrame 제거하기

가져오기 성능 향상하기

파일 크기 최적화

파일 가져오기 성능

클러스터 구성

Spark 구성 읽기

Spark 구성 작성하기

성능 개선

일반 조인

Spark 조인에서 브로드캐스팅 사용하기

브로드캐스트 조인 vs 일반 조인 비교

Spark로 복잡한 실제 데이터를 처리하는 방법과 파이프라인의 기초를 학습합니다.

데이터 파이프라인 소개

빠른 파이프라인

파이프라인 데이터 문제

데이터 처리 기법

주석 처리된 행 제거하기

유효하지 않은 행 제거하기

여러 열로 분할하기

추가 파싱

데이터 검증

조인으로 행 검증하기

잘못된 행 살펴보기

최종 분석 및 전달

개 정보 파싱

이미지별 개수

개 픽셀 비율

축하합니다! 다음 단계로 넘어가 볼까요

복잡한 처리와 데이터 파이프라인

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

데이터를 다루는 일은 어렵고, 수백만에서 수십억 행을 다루면 더 복잡해집니다.
상대적으로 깔끔한 데이터로 노트북에서 작성된 데이터 처리 코드를 받으셨나요?
프로토타입 수준의 데이터 프로세스를 운영 환경으로 이전하는 일을 맡게 될 가능성이 큽니다.
누락된 필드, 기묘한 형식, 그리고 데이터 규모가 몇 자릿수나 더 큰 실제 데이터셋을 다뤄 보셨을 수도 있어요. 이런 모든 것이 처음이라도, 이 과정을 통해 Apache Spark와 Python으로 데이터 프로세스를 준비하는 데 필요한 내용을 배울 수 있습니다.
성능이 뛰어나고 유지보수 가능하며 이해하기 쉬운 데이터 처리 플랫폼을 만들기 위한 용어, 방법, 모범 사례를 익히게 됩니다.

최종 분석 및 전달

Create Your Free Account