Bạn sẽ học cách Spark và R bổ trợ cho nhau, cách đưa dữ liệu vào/ra Spark, và cách thao tác các data frame của Spark bằng cú pháp dplyr.

Bắt đầu

Sinh ra để đi cùng nhau

Vùng đất rồng thiêng

Mẫu kết nối - làm việc - ngắt kết nối

Sao chép dữ liệu vào Spark

Dữ liệu lớn, tibble nhỏ

Khám phá cấu trúc của tibbles

Chọn cột

Lọc các hàng

Sắp xếp các hàng

Thay đổi (mutate) các cột

Tóm tắt các cột

Light My Fire: Bắt đầu dùng Spark với cú pháp dplyr

Bạn sẽ học sâu hơn về cách dùng giao diện <code>dplyr</code> với Spark, bao gồm chọn trường nâng cao, tính thống kê theo nhóm, và nối các data frame.

Nâng trình độ của bạn

Trợ thủ nhỏ của mẹ (1)

Trợ thủ đắc lực của mẹ (2)

Chọn các hàng duy nhất

Common people

Thu thập dữ liệu từ Spark về R

Lưu trữ kết quả trung gian

Nhóm: tuyệt cho âm nhạc, tuyệt cho dữ liệu

Các nhóm dị nhân

Lựa chọn nâng cao II: SQL

Left join

Anti join

Semi join

Tools of the Trade: Sử dụng dplyr nâng cao

Bạn sẽ tìm hiểu về các tính năng biến đổi dữ liệu cho Machine Learning của Spark và các chức năng thao tác với DataFrame gốc.

Hai giao diện mới

Suất chiếu kép bỏng ngô

Chuyển đổi biến liên tục thành biến logical

Chuyển đổi biến liên tục thành biến phân loại (1)

Chuyển đổi biến liên tục thành biến phân loại (2)

Hơn cả từ ngữ: tokenization (1)

Hơn cả từ ngữ: tokenization (2)

Hơn cả từ ngữ: tokenization (3)

Sắp xếp với arrange

Khám phá kiểu dữ liệu trong Spark

Thu nhỏ dữ liệu bằng cách lấy mẫu

Chia tập huấn luyện/kiểm tra

Going Native: Dùng giao diện gốc để thao tác với Spark DataFrames

Một nghiên cứu tình huống nơi bạn học cách dùng các thủ tục Machine Learning của <code>sparklyr</code> để dự đoán năm phát hành của một bài hát.

Machine Learning trên Spark

Các hàm machine learning

(Này bạn) Âm thanh gì thế?

Làm việc với các tệp parquet

Come together

Chia dữ liệu có tính đến hiệu ứng theo nhóm

Gradient boosted trees: xây dựng mô hình

Gradient boosted trees: dự đoán

Gradient boosted trees: trực quan hóa

Random Forest: xây dựng mô hình

Random Forest: dự đoán

Random Forest: trực quan hóa

So sánh hiệu năng mô hình

Case Study: Học để trở thành máy: Chạy mô hình Machine Learning trên Spark

Title text parquet

Track data to predict parquet

Track data to model parquet

Timbre parquet

Gbt-model-responses

Left-join

Inner-join

Residual density

Track data parquet

Semi-join

Timbre

Anti-join

Predicted vs actual

Track metadata

Both-model-responses

R được tối ưu để bạn viết mã phân tích dữ liệu nhanh và dễ đọc. Apache Spark được thiết kế để phân tích các bộ dữ liệu khổng lồ với tốc độ cao. Gói sparklyr cho phép bạn viết mã dplyr trong R và chạy trên cụm Spark, kết hợp ưu điểm của cả hai thế giới. Khóa học này hướng dẫn bạn thao tác với Spark DataFrame bằng cả giao diện dplyr và giao diện gốc của Spark, cũng như thử các kỹ thuật Machine Learning. Xuyên suốt khóa học, bạn sẽ khám phá Million Song Dataset.

<h2>Khám phá những lợi ích của R, Spark và sparklyr </h2>
R chủ yếu được tối ưu hóa để giúp bạn viết mã phân tích dữ liệu một cách nhanh chóng và dễ đọc. Apache Spark được thiết kế để phân tích các bộ dữ liệu khổng lồ một cách nhanh chóng. Gói sparklyr cho phép bạn viết mã dplyr R chạy trên cụm Spark, mang đến cho bạn lợi ích tối ưu từ cả hai nền tảng. Khóa học 4 giờ này hướng dẫn bạn cách thao tác với Spark DataFrame bằng cả giao diện dplyr và giao diện gốc của Spark, đồng thời giới thiệu các kỹ thuật học máy. 
<br><br>
<h2>Nạp dữ liệu vào Spark và thao tác với Spark DataFrames</h2>
Bạn sẽ bắt đầu khóa học Spark này bằng cách tìm hiểu cách Spark và R phối hợp hiệu quả với nhau, đồng thời thực hành tải dữ liệu để sẵn sàng cho việc làm sạch, chuyển đổi và phân tích. Bạn sẽ sử dụng Spark frames và cú pháp dplyr để thao tác với dữ liệu của mình bằng cách lọc và sắp xếp các hàng, cũng như biến đổi và tổng hợp các cột. 
<br><br>
<h2>Khám phá Phân tích Dữ liệu Lớn với Spark MLib </h2>
Khóa học này tập trung vào việc phát triển kỹ năng và sự tự tin của bạn trong phân tích các bộ dữ liệu lớn. Các chương cuối sẽ hướng dẫn bạn khám phá các tính năng chuyển đổi dữ liệu học máy của Spark và mang đến cơ hội luyện tập các quy trình học máy của sparklyr bằng cách sử dụng nó để dự đoán với các mô hình cây tăng cường độ dốc và rừng ngẫu nhiên.

Supervised Learning in R: Regression

Học cách sử dụng Apache Spark và gói sparklyr trong R để phân tích dữ liệu lớn qua học máy.

Nhập môn Spark với sparklyr trong R

Phân tích dữ liệu lớn với Spark và gói sparklyr trong R, khám phá Spark MLIb chỉ trong 4 giờ. 

Bắt đầu

Create Your Free Account