Dvojitý popcornový program

Metody dplyr, které jsi viděl/a v předchozích dvou kapitolách, využívají SQL rozhraní Sparku. Jinými slovy, převádějí tvůj R kód do SQL kódu, než ho předají Sparku. Pro základní manipulaci s daty je to skvělé řešení, ale naráží na omezení u složitějšího zpracování. Například lze vypočítat průměr sloupce, ale nikoli medián. Tady je příklad z cvičení „Sumarizace sloupců" z 1. kapitoly.

track_metadata_tbl %>%
  summarize(mean_duration = mean(duration)) #OK
track_metadata_tbl %>%
  summarize(median_duration = median(duration))

sparklyr také nabízí dvě „nativní" rozhraní, která probereme v následujících dvou kapitolách. Nativní znamená, že volají kód v Javě nebo Scale a přistupují přímo ke knihovnám Sparku – bez jakéhokoli převodu do SQL. sparklyr podporuje Spark DataFrame Application Programming Interface (API) s funkcemi s předponou sdf_. Umožňuje také přístup ke knihovně strojového učení Sparku, MLlib, prostřednictvím funkcí pro „transformaci příznaků" s předponou ft_ a funkcí pro „strojové učení" s předponou ml_.

Důležitý rozdíl mezi prací v R a ve Sparku spočívá v tom, že Spark je mnohem přísnější ohledně typů proměnných. Většina nativních funkcí očekává vstup typu DoubleType a vrací výstup téhož typu. DoubleType je Sparkový ekvivalent vektorového typu numeric v R. sparklyr sice zvládne převod numeric na DoubleType sám, ale převod dat typu logical nebo integer na numeric a zpět je už na tobě.

Které z následujících tvrzení je pravdivé?

1. Metody dplyr v sparklyr převádějí kód do Scaly, než ho spustí na Sparku.
2. Převod R kódu do SQL omezuje počet podporovaných výpočtů.
3. Většina modelovacích funkcí Spark MLlib vyžaduje vstup typu DoubleType a vrací výstup typu DoubleType.
4. Většina modelovacích funkcí Spark MLlib vyžaduje vstup typu IntegerType a vrací výstup typu BooleanType.