PySpark와 분산 컴퓨팅에 대한 일반적인 소개입니다. 이 섹션에서는 PySpark, PySpark DataFrame, 그리고 RDD를 소개합니다.

PySpark 소개

SparkSession 만들기

인구조사 데이터 불러오기

PySpark DataFrame 소개

확장성 및 성능

CSV 읽기와 집계 수행

회사별 필터링

Spark DataFrame 더 알아보기

스키마 추론과 필터링

스키마 작성

Apache Spark와 PySpark 소개

DataFrame과 복합 데이터 타입에 대한 심화 내용입니다. 이 섹션은 PySpark에서 DataFrame이 제공하는 기능을 확장해 설명하고 일부 Spark SQL 개념을 소개합니다.

DataFrame으로 데이터 다루기

fill과 drop으로 결측치 처리하기

열 작업 - 열 생성 및 이름 바꾸기

고급 DataFrame 연산

DataFrame 결합

항공편과 도착 공항 조인하기

직접 정의하고 바로 써봐요!

정의한 UDF

PySpark UDF에서의 정수 처리

Pandas UDFs

Python에서의 PySpark

대규모 데이터 처리를 위해 SQL의 단순성과 PySpark의 분산 컴퓨팅 성능을 결합하는 방법을 살펴봅니다. Spark SQL과 PySpark를 활용해 큰 데이터셋을 효율적으로 처리해 보세요.

PySpark의 탄력적 분산 데이터셋(RDD)

RDD 생성하기

RDD 수집하기

Spark SQL 소개

임시 뷰에서 쿼리 실행하기

DataFrame에서 SQL 실행하기

DataFrame에 SQL로 분석하기

PySpark 집계

PySpark에서 집계하기

RDD에서 집계하기

복합 집계

대규모 환경에서의 PySpark

브로드캐스팅

모두 합쳐 보기 I

모두 합쳐 보기 II

무엇을 배웠을까요?

PySpark SQL 소개

Course Glossary

Adults

Transportation

Salaries

이 과정은 대규모 데이터셋을 PySpark로 다루려는 데이터 엔지니어, 데이터 사이언티스트, 그리고 Machine Learning 실무자를 위해 설계되었습니다. Apache Spark의 속도와 확장성을 살펴보고, Spark 세션을 생성하며, RDD를 다루고, 실습을 통해 DataFrame을 조작하는 방법을 배웁니다. 또한 PySpark SQL을 다루며 SQL로 데이터를 조회하고, 스키마와 복합 데이터 타입을 처리하며, 분산 환경에서 성능을 최적화하는 방법을 익힙니다. 과정을 마치면 빅데이터를 처리하고 분석하는 데 필요한 기초 역량을 갖추게 되어, Machine Learning과 빅데이터 분석과 같은 고급 응용으로 나아갈 수 있습니다.

동영상에는 실시간 필기가 포함되어 있으며, 동영상 왼쪽 하단의 "Show transcript"를 클릭하면 표시할 수 있습니다.
강의 용어집은 오른쪽 리소스 섹션에서 확인할 수 있습니다.
CPE 학점 취득을 위해서는 과정을 완료하고 인증 평가에서 70% 이상의 점수를 받아야 합니다. 오른쪽의 CPE 학점 안내를 클릭하면 평가로 이동할 수 있습니다.

이 강의는 대규모 데이터세트를 효율적으로 다루고자 하는 데이터 엔지니어, 데이터 과학자, 그리고 머신 러닝 실무자에게 완벽합니다. Pandas 같은 도구에서 전환하든, 빅 데이터 기술을 처음 접하든, 이 강의는 PySpark와 분산 데이터 처리에 대한 탄탄한 입문을 제공합니다.<br><br>
<h2>왜 Spark인가? 왜 지금인가?</h2>
Apache Spark의 속도와 확장성을 알아보세요. Apache Spark는 빅 데이터 처리를 위해 설계된 강력한 프레임워크입니다. 인터랙티브한 강의와 실습을 통해 Spark의 인메모리 처리 방식이 Hadoop과 같은 기존 프레임워크보다 어떤 강점을 제공하는지 확인하게 됩니다. 먼저 Spark 세션을 설정한 다음, Resilient Distributed Datasets(RDD)와 DataFrame 같은 핵심 구성 요소를 살펴보게 됩니다. 실제 사례를 다루면서 데이터세트를 손쉽게 필터링, 그룹화, 조인하는 방법을 배워보세요.<br><br>
<h2>빅 데이터용 Python 및 SQL 실력을 향상시키세요</h2>
익숙한 SQL 구문을 사용해 데이터를 조회하고 관리하는 PySpark SQL 활용법을 배워보세요. 스키마, 복잡한 데이터 유형, 사용자 정의 함수(UDF)를 다루는 동시에 분산 시스템의 캐싱 및 성능 최적화 역량을 키워 보세요.<br><br>
<h2>빅 데이터 기초를 다지세요</h2>
이 강의를 마치면 PySpark를 사용해 빅데이터를 다루고, 쿼리하고, 처리할 자신감을 갖게 됩니다. 이러한 기초 역량을 갖추면 머신 러닝과 빅 데이터 분석 같은 고급 주제를 탐구할 준비가 됩니다.

Introduction to SQL

Data Manipulation with pandas

PySpark를 마스터하여 빅데이터를 쉽게 처리하세요—대규모 데이터셋을 처리, 쿼리 및 최적화하세요!

PySpark 입문

PySpark를 마스터하여 빅데이터를 손쉽게 처리하세요—대규모 데이터셋을 처리하고 쿼리하며 최적화하여 강력한 분석을 수행하는 방법을 배우세요!

주니어 데이터 엔지니어 Databricks에서

PySpark를 활용한 빅데이터

머신 러닝 과학자 in Python

전문 데이터 엔지니어 in Python

DataFrame 결합

PySpark 입문

실습형 인터랙티브 연습문제