Map și Collect

Principala metodă prin care poți manipula date în PySpark este map(). Transformarea map() primește o funcție și o aplică fiecărui element din RDD. Poate fi folosită pentru o multitudine de operații, de la preluarea site-ului asociat fiecărui URL din colecție, până la ridicarea numerelor la pătrat. În acest exercițiu simplu, vei folosi transformarea map() pentru a ridica la cub fiecare număr din RDD-ul numbRDD pe care l-ai creat anterior. Apoi, vei stoca toate elementele într-o variabilă și vei afișa rezultatul.

Reține că ai deja un SparkContext sc și numbRDD disponibile în spațiul de lucru.

Acest exercițiu face parte din cursul

Fundamentele Big Data cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Creează o transformare map() care ridică la cub toate numerele din numbRDD.
Colectează rezultatele într-o variabilă numită numbers_all.
Afișează rezultatul din variabila numbers_all.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create map() transformation to cube numbers
cubedRDD = numbRDD.map(lambda x: ____)

# Collect the results
numbers_all = cubedRDD.____()

# Print the numbers from numbers_all
for numb in ____:
	print(____)

Editează și rulează codul