Explorarea structurii tibble-urilor
Dacă încerci să afișezi un tibble care descrie date stocate în Spark, se întâmplă ceva special: tibble-ul nu păstrează o copie locală a datelor. Magia constă în faptul că metoda de afișare folosește conexiunea ta Spark, copiază o parte din date înapoi în R și le afișează ca și cum ar fi stocate local. Așa cum ai văzut mai devreme în capitol, copierea datelor este o operațiune lentă, prin urmare, implicit, se afișează doar 10 rânduri și atâtea coloane câte încap pe ecran.
Poți modifica numărul de rânduri afișate folosind argumentul n al funcției print(). De asemenea, poți controla lățimea conținutului afișat cu argumentul width, exprimat ca număr de caractere (nu de coloane). Un truc util este să folosești width = Inf pentru a afișa toate coloanele.
Funcția str() este folosită în mod obișnuit pentru a afișa structura unei variabile. Pentru obiecte de tip data.frame, oferă un rezumat util cu tipul și primele valori ale fiecărei coloane. Însă pentru tibble-uri cu o sursă de date la distanță, str() nu știe cum să recupereze datele. Asta înseamnă că, dacă apelezi str() pe un tibble cu date stocate în Spark, vei vedea o listă cu un obiect de conexiune Spark și câteva alte elemente.
Dacă vrei să vezi un rezumat al conținutului fiecărei coloane din setul de date la care face referire tibble-ul, trebuie să folosești glimpse(). Atenție: pentru date la distanță, cum ar fi cele stocate într-un cluster Spark, numărul de rânduri raportat poate fi incorect! În acest caz, glimpse() nu reușește să raporteze corect numărul de rânduri.
Acest exercițiu face parte din cursul
Introducere în Spark cu sparklyr în R
Instrucțiuni pentru exercițiu
O conexiune Spark a fost creată pentru tine ca spark_conn. Un tibble atașat la metadatele pistelor stocate în Spark a fost predefinit ca track_metadata_tbl.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Print 5 rows, all columns
___
# Examine structure of tibble
___
# Examine structure of data
___