Sử dụng PySpark tương tác
Spark đi kèm một Python shell tương tác trong đó PySpark đã được cài sẵn. PySpark shell rất hữu ích cho việc kiểm thử và gỡ lỗi cơ bản, đồng thời cũng khá mạnh mẽ. Cách dễ nhất để minh họa sức mạnh của PySpark shell là thông qua một bài tập. Trong bài này, bạn sẽ nạp một danh sách đơn giản chứa các số từ 1 đến 100 trong PySpark shell.
Điều quan trọng nhất cần hiểu ở đây là chúng ta không tạo bất kỳ đối tượng SparkContext nào vì PySpark tự động tạo sẵn một đối tượng SparkContext tên là sc trong PySpark shell.
Bài tập này là một phần của khóa học
Nền tảng Big Data với PySpark
Hướng dẫn bài tập
- Tạo một danh sách Python tên
numbchứa các số từ 1 đến 100. - Nạp danh sách vào Spark bằng phương thức
parallelizecủa Spark Context và gán vào biếnspark_data.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)