Partisi training/testing

Sebagian besar waktu, ketika Anda menjalankan model prediktif, Anda perlu menyesuaikan (fit) model pada satu subset data Anda (set "training"), lalu menguji prediksi model terhadap sisa data Anda (set "testing").

sdf_random_split() menyediakan cara untuk mempartisi data frame Anda menjadi set training dan testing. Penggunaannya sebagai berikut.

a_tibble %>%
  sdf_random_split(training = 0.7, testing = 0.3)

Ada dua hal yang perlu diperhatikan tentang penggunaannya. Pertama, jika nilai partisi tidak berjumlah satu, nilainya akan diskalakan agar berjumlah satu. Jadi jika Anda memberikan training = 0.35 dan testing = 0.15, Anda akan mendapatkan dua kali dari yang diminta. Kedua, Anda dapat menggunakan nama set apa pun yang Anda suka, dan mempartisi data menjadi lebih dari dua set. Jadi contoh berikut juga valid.

a_tibble %>%
  sdf_random_split(a = 0.1, b = 0.2, c = 0.3, d = 0.4)

Nilai kembalian adalah sebuah list berisi tibble. Anda dapat mengakses masing-masing menggunakan operator pengindeksan list yang biasa.

partitioned$a
partitioned[["b"]]

Latihan ini merupakan bagian dari kursus

Pengantar Spark dengan sparklyr di R

Lihat Kursus

Instruksi latihan

Koneksi Spark telah dibuat untuk Anda sebagai spark_conn. Sebuah tibble yang terhubung ke metadata track yang disimpan di Spark telah didefinisikan sebelumnya sebagai track_metadata_tbl.

Gunakan sdf_random_split() untuk membagi metadata track.
- Tempatkan 70% dalam set bernama training.
- Tempatkan 30% dalam set bernama testing.
Dapatkan dimensi sdf_dim() dari tibble training.
Dapatkan dimensi dari tibble testing.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# track_metadata_tbl has been pre-defined
track_metadata_tbl

partitioned <- track_metadata_tbl %>%
  # Partition into training and testing sets
  ___

# Get the dimensions of the training set
___

# Get the dimensions of the testing set
___

Edit dan Jalankan Kode