Partycje w twoich danych

Metoda textFile() klasy SparkContext przyjmuje opcjonalny drugi argument minPartitions, który określa minimalną liczbę partycji. W tym ćwiczeniu utworzysz RDD o nazwie fileRDD_part z 5 partycjami, a następnie porównasz je z fileRDD utworzonym w poprzednim ćwiczeniu. Zajrzyj do slajdu „Rozumienie partycji" z lekcji 2.1, aby zapoznać się z metodami tworzenia partycji i sprawdzania ich liczby w RDD.

Pamiętaj, że w swoim środowisku masz już dostępne: SparkContext sc, zmienną file_path oraz fileRDD.

To ćwiczenie jest częścią kursu

Podstawy Big Data z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Sprawdź liczbę partycji, na których oparty jest RDD fileRDD.
Utwórz RDD o nazwie fileRDD_part na podstawie ścieżki do pliku, tym razem z 5 partycjami.
Potwierdź liczbę partycji w nowym RDD fileRDD_part.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Check the number of partitions in fileRDD
print("Number of partitions in fileRDD is", fileRDD.____)

# Create a fileRDD_part from file_path with 5 partitions
fileRDD_part = sc.textFile(____, minPartitions = ____)

# Check the number of partitions in fileRDD_part
print("Number of partitions in fileRDD_part is", fileRDD_part.____)

Edytuj i uruchom kod