Spark와 R이 어떻게 서로 보완하는지, 데이터를 Spark로 보내고 가져오는 방법, 그리고 dplyr 문법으로 Spark 데이터 프레임을 조작하는 방법을 배웁니다.

시작하기

찰떡궁합

용감한 도전이 기다립니다

Connect-Work-Disconnect 패턴

데이터를 Spark로 복사하기

빅데이터, 아주 작은 티블

티블 구조 살펴보기

열 선택하기

행 필터링

행 정렬하기

열 변경하기(Mutate)

열 요약하기

불 붙이기: dplyr 문법으로 Spark 시작하기

<code>dplyr</code> 인터페이스를 사용해 Spark를 다루는 고급 주제를 학습합니다. 필드 고급 선택, 그룹별 통계 계산, 데이터 프레임 조인 등을 포함합니다.

한 단계 더 나아가기

Mother's little helper (1)

Mother's little helper (2)

고유 행 선택하기

Common people

Spark에서 데이터를 다시 가져오기

중간 결과 저장하기

그룹: 음악에도, 데이터에도 딱 맞아요

돌연변이들의 그룹

고급 선택 II: SQL

Left join

Anti join

세미 조인

전문가의 도구: 고급 dplyr 활용

Spark의 Machine Learning용 데이터 변환 기능과 네이티브 DataFrame을 조작하는 기능을 학습합니다.

두 가지 새로운 인터페이스

팝콘 더블 피처

연속형 변수를 논리형으로 변환하기

연속형 변수를 범주형으로 변환하기 (1)

연속형 변수를 범주형으로 변환하기 (2)

단어를 넘어서: 토큰화 (1)

More than words: tokenization (2)

단어 그 이상: 토크나이즈(3)

정렬(sorting) vs. 배열(arranging)

Spark 데이터 타입 살펴보기

샘플링으로 데이터 줄이기

훈련/테스트 분할

네이티브로 가기: 네이티브 인터페이스로 Spark DataFrame 조작하기

사례 연구를 통해 <code>sparklyr</code>의 Machine Learning 루틴을 사용하여 노래의 발매 연도를 예측해 봅니다.

Spark에서의 Machine Learning

Machine Learning 함수

(Hey you) 저 소리는 뭐죠?

Parquet 파일 다루기

함께 합쳐 봅시다

그룹 효과를 고려한 데이터 분할

Gradient boosted trees: 모델링

Gradient boosted trees: prediction

Gradient boosted trees: 시각화

Random Forest: 모델링

Random Forest: 예측

Random Forest: 시각화

모델 성능 비교

사례 연구: 기계를 배우다—Spark에서 Machine Learning 모델 실행하기

Anti-join

Both-model-responses

Gbt-model-responses

Inner-join

Left-join

Predicted vs actual

Residual density

Semi-join

Timbre

Timbre parquet

Title text parquet

Track data parquet

Track data to model parquet

Track data to predict parquet

Track metadata

R은 빠르고 가독성 높은 데이터 분석 코드를 작성하기에 최적화되어 있어요. Apache Spark는 거대한 데이터세트를 빠르게 분석하도록 설계되었죠. sparklyr 패키지를 사용하면 Spark 클러스터에서 실행되는 dplyr R 코드를 작성할 수 있어, 두 세계의 장점을 모두 누릴 수 있습니다. 이 강의에서는 dplyr 인터페이스와 Spark의 네이티브 인터페이스를 모두 활용해 Spark DataFrame을 조작하는 방법과 함께 Machine Learning 기법도 실습해 봅니다. 강의 전반에 걸쳐 Million Song Dataset을 탐색하게 됩니다.

<h2>R, Spark, 그리고 sparklyr의 장점을 살펴보세요 </h2>
R은 주로 데이터 분석 코드를 빠르고 읽기 쉽게 작성하도록 돕는 데 최적화되어 있습니다. Apache Spark는 방대한 데이터세트를 빠르게 분석하도록 설계되었습니다. sparklyr 패키지를 사용하면 Spark 클러스터에서 실행되는 dplyr R 코드를 작성할 수 있어, 두 세계의 장점을 모두 누릴 수 있습니다. 이 4시간짜리 강의에서는 dplyr 인터페이스와 Spark의 기본 인터페이스를 모두 사용해 Spark DataFrame을 조작하는 방법과 머신 러닝 기법을 적용하는 방법을 배웁니다. 
<br><br>
<h2>Spark에 데이터를 로드하고 Spark DataFrame을 조작하기</h2>
이 Spark 강의에서는 Spark와 R이 어떻게 잘 함께 작동하는지 살펴보고, 정리, 변환, 분석을 위한 데이터 로딩을 연습하며 시작합니다. Spark 프레임과 dplyr 구문을 사용해 필터링과 행 정렬, 그리고 열 변형과 요약을 통해 데이터를 조작하게 됩니다. 
<br><br>
<h2>Spark MLib로 빅 데이터 분석을 깊이 있게 배워보세요 </h2>
이 강의는 방대한 데이터세트를 분석하는 데 필요한 기술과 자신감을 키우는 데 중점을 둡니다. 마지막 장에서는 Spark의 머신 러닝 데이터 변환 특성을 살펴보고, gradient boosted trees와 random forests를 사용해 예측을 수행하면서 sparklyr의 머신 러닝 루틴을 실습 문제로 연습할 기회를 제공합니다. "

Supervised Learning in R: Regression

Apache Spark와 sparklyr 패키지를 사용하여 R에서 머신러닝으로 빅데이터 분석을 배우세요.

R에서 sparklyr로 시작하는 Spark

Spark와 R의 sparklyr 패키지로 빅 데이터 분석을 실행하고, 4시간 만에 Spark MLIb를 살펴보세요. 

시작하기

Create Your Free Account