1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Nền tảng Big Data với PySpark
Connected

Bài tập

Sử dụng PySpark tương tác

Spark đi kèm một Python shell tương tác trong đó PySpark đã được cài sẵn. PySpark shell rất hữu ích cho việc kiểm thử và gỡ lỗi cơ bản, đồng thời cũng khá mạnh mẽ. Cách dễ nhất để minh họa sức mạnh của PySpark shell là thông qua một bài tập. Trong bài này, bạn sẽ nạp một danh sách đơn giản chứa các số từ 1 đến 100 trong PySpark shell.

Điều quan trọng nhất cần hiểu ở đây là chúng ta không tạo bất kỳ đối tượng SparkContext nào vì PySpark tự động tạo sẵn một đối tượng SparkContext tên là sc trong PySpark shell.

Hướng dẫn

100 XP
  • Tạo một danh sách Python tên numb chứa các số từ 1 đến 100.
  • Nạp danh sách vào Spark bằng phương thức parallelize của Spark Context và gán vào biến spark_data.