बीच के नतीजों को स्टोर करना

जैसा आपने Chapter 1 में देखा, R और Spark के बीच डेटा की कॉपी करना मूल रूप से धीमा काम है. इसका मतलब है कि पिछली एक्सरसाइज़ में जैसा आपने डेटा collect किया था, वैसा तभी करें जब वास्तव में ज़रूरत हो.

Pipe ऑपरेटर डेटा मैनिप्युलेशन कमांड्स को एक साथ चेन करने के लिए बहुत अच्छा है. लेकिन आम तौर पर, आप पूरी एनालिसिस को सब कुछ चेन करके नहीं कर सकते. उदाहरण के लिए, यह बहुत खराब प्रैक्टिस है, क्योंकि आप अपना कोड कभी डिबग नहीं कर पाएँगे.

final_results <- starting_data %>%
  # 743 steps piped together
  # ... %>%
  collect()

यह एक दुविधा पैदा करता है. आपको बीच-बीच की कैलकुलेशंस के नतीजों को स्टोर करना होता है, लेकिन आप उन्हें collect नहीं करना चाहते क्योंकि यह धीमा है. समाधान है compute() का उपयोग करना: यह कैलकुलेशन को compute करता है, लेकिन नतीजों को Spark पर एक अस्थायी डेटा फ्रेम में स्टोर करता है. compute दो आर्ग्युमेंट लेता है: एक tibble, और Spark डेटा फ्रेम का एक वैरिएबल नाम जिसमें नतीजे स्टोर होंगे.

a_tibble %>%
  # some calculations %>%
  compute("intermediate_results")