Veriyi yeniden bölümlemek

id, word ve chapter sütunlarına sahip text_df adlı bir dataframe var. text_df’in ilk 5 satırı konsola yazdırıldı.

Aşağıdaki komutla 12 bölüm olduğunu görebilirsin:

text_df.select('chapter')\
       .distinct()\
       .sort('chapter')\
       .show(truncate=False)

Bu komutun çıktısı konsolda Table 1 olarak gösterildi.

text_df şu anda tek bir bölümde (partition) bulunuyor. Diyelim ki ilerideki işlem adımlarında veriyi bölümlere göre gruplayacağını biliyorsun. İşlem en verimli şekilde, her bölüm tek bir makinada kalırsa yapılır. Verinin makineler arasında gereksiz yer değiştirmesini (shuffling) önlemek için, bu bölümün ilk video dersinde öğretilen repartition ve getNumPartitions komutlarını kullanarak dataFrame’i her bölüm için birer tane olmak üzere toplam 12 bölüme yeniden dağıtalım.

Videoda nasıl yapıldığını unuttuysan, konsolun sağındaki slaytlara göz atmaktan çekinme.

Bu egzersiz

Python ile Spark SQL'e Giriş

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

text_df’i her bölüm kendi bölümünde olacak şekilde 12 bölüme yeniden dağıt.
Yeni dataframe’deki bölüm (partition) sayısını göster.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Repartition text_df into 12 partitions on 'chapter' column
repart_df = text_df.____(____, ____)

# Prove that repart_df has 12 partitions
repart_df.____.____

Kodu Düzenle ve Çalıştır

Bu egzersiz

Python ile Spark SQL'e Giriş

kursunun bir parçasıdır

AvançadoNível de habilidade

4.7+

Kursa Ücretsiz Başlayın

In this chapter you will learn how to create and query a SQL table in Spark. Spark SQL brings the expressiveness of SQL to Spark. You will also learn how to use SQL window functions in Spark. Window functions perform a calculation across rows that are related to the current row. They greatly simplify achieving results that are difficult to express using only joins and traditional aggregations. We'll use window functions to perform running sums, running differences, and other operations that are challenging to perform in basic SQL.

Exercise 1: Creating and querying a SQL table in Spark Exercise 2: Create a SQL table from a dataframe Exercise 3: Determine the column names of a table Exercise 4: Window function SQL Exercise 5: Running sums using window function SQL Exercise 6: Fix the broken query Exercise 7: Dot notation and SQL Exercise 8: Aggregation, step by step Exercise 9: Aggregating the same column twice Exercise 10: Aggregate dot SQL Exercise 11: Convert window function from dot notation to SQL

In this chapter, you will be loading natural language text. Then you will apply a moving window analysis to find frequent word sequences.

Exercise 1: Doğal dil metnini yükleme Exercise 2: Parquet dosyasından bir veri çerçevesi yükleme Exercise 3: Bir metin sütununu split ve explode et Exercise 4: monotonically_increasing_id() kullanma Exercise 5: Hareketli pencere analizi Exercise 6: Bağlam penceresi özellik verisini oluşturma Exercise 7: Veriyi yeniden bölümlemek

Geçerli Egzersiz

Exercise 8: Yaygın kelime dizileri Exercise 9: Bu ne tür bir veridir Exercise 10: Yaygın kelime dizilerini bulma Exercise 11: Sıralı benzersiz 5-tuple’lar Exercise 12: Bölüm başına en sık görülen 3'lüler

In the previous chapters you learned how to use the expressiveness of window function SQL. However, this expressiveness now makes it important that you understand how to properly cache dataframes and cache SQL tables. It is also important to know how to evaluate your application. You learn how to do do this using the Spark UI. You'll also learn a best practice for logging in Spark. Spark SQL brings with it another useful tool for tuning query performance issues, the query execution plan. You will learn how to use the execution plan for evaluating the provenance of a dataframe.

Exercise 1: Caching Exercise 2: Practice query plans 2 Exercise 3: Practicing caching: part 1 Exercise 4: Practicing caching: the SQL Exercise 5: Practicing caching: putting it all together Exercise 6: Caching and uncaching tables Exercise 7: The Spark UI Exercise 8: Spark UI storage tab Exercise 9: Inspecting cache in the Spark UI Exercise 10: Logging Exercise 11: Practice logging Exercise 12: Practice logging 2 Exercise 13: Query plans Exercise 14: Practice query plans Exercise 15: Practice reading query plans 2

Previous chapters provided you with the tools for loading raw text, tokenizing it, and extracting word sequences. This is already very useful for analysis, but it is also useful for machine learning. What you've learned now comes together by using logistic regression to classify text. By the conclusion of this chapter, you will have loaded raw natural language text data and used it to train a text classifier.

Exercise 1: Extract Transform Select Exercise 2: Practicing creating a UDF Exercise 3: Practicing array column Exercise 4: Creating feature data for classification Exercise 5: Creating a UDF for vector data Exercise 6: Applying a UDF to vector data Exercise 7: Transforming text to vector format Exercise 8: Text Classification Exercise 9: Label the data Exercise 10: Split the data Exercise 11: Train the classifier Exercise 12: Predicting and evaluating Exercise 13: Evaluate the classifier Exercise 14: Predict test data Exercise 15: Recap