Tinjauan dasar-dasar DataFrame dan pentingnya pembersihan data.

Pengantar pembersihan data dengan Apache Spark

Tinjauan pembersihan data

Mendefinisikan skema

Immutability dan pemrosesan malas

Tinjauan immutability

Menggunakan pemrosesan malas (lazy)

Memahami Parquet

Menyimpan DataFrame dalam format Parquet

SQL dan Parquet

Rincian DataFrame

Tinjauan berbagai teknik untuk memodifikasi isi DataFrame di Spark.

Operasi kolom DataFrame

Menyaring isi kolom dengan Python

Pertanyaan Penyaringan #1

Pertanyaan Penyaringan #2

Memodifikasi kolom DataFrame

Operasi bersyarat pada kolom DataFrame

Contoh when()

When / Otherwise

Fungsi yang ditentukan pengguna

Memahami user defined functions

Menggunakan user defined functions di Spark

Partisi dan pemrosesan malas

Menambahkan Kolom ID

ID dengan partisi berbeda

Lebih banyak trik ID

Memanipulasi DataFrame di dunia nyata

Tingkatkan tugas pembersihan data dengan meningkatkan performa atau mengurangi kebutuhan sumber daya.

Caching

Menyimpan dalam Cache sebuah DataFrame

Menghapus DataFrame dari cache

Tingkatkan kinerja impor

Optimisasi ukuran berkas

Kinerja impor file

Konfigurasi klaster

Membaca konfigurasi Spark

Menulis konfigurasi Spark

Peningkatan kinerja

Join normal

Menggunakan broadcasting pada join di Spark

Membandingkan join broadcast vs normal

Meningkatkan Performa

Pelajari cara memproses data dunia nyata yang kompleks menggunakan Spark dan dasar-dasar pipeline.

Pengantar pipeline data

Pipeline cepat

Masalah data pada pipeline

Teknik penanganan data

Menghapus baris berkomentar

Menghapus baris tidak valid

Memecah menjadi kolom

Penguraian lanjutan

Validasi data

Validasi baris melalui join

Memeriksa baris tidak valid

Analisis akhir dan penyampaian

Mengurai data anjing

Jumlah per gambar

Persentase piksel anjing

Selamat dan langkah selanjutnya

Pemrosesan kompleks dan pipeline data

Dallas Council Votes

Dallas Council Voters

Flights - 2014

Flights - 2015

Flights - 2016

Flights - 2017

Bekerja dengan data itu menantang—bekerja dengan jutaan atau bahkan miliaran baris lebih menantang lagi.
Apakah Anda menerima kode pemrosesan data yang ditulis di laptop dengan data yang relatif bersih?
Kemungkinan besar Anda diminta untuk memindahkan proses data dasar dari prototipe ke produksi.
Anda mungkin pernah bekerja dengan himpunan data dunia nyata, dengan kolom yang hilang, format yang aneh, dan jumlah data berorde lebih besar. Bahkan jika semua ini baru bagi Anda, kursus ini membantu Anda mempelajari hal-hal yang dibutuhkan untuk menyiapkan proses data menggunakan Python dengan Apache Spark.
Anda akan mempelajari terminologi, metode, dan beberapa praktik terbaik untuk membuat platform pemrosesan data yang cepat, mudah dirawat, dan mudah dipahami.

Intermediate Python

Introduction to PySpark

Pelajari cara menggunakan PySpark untuk membersihkan data di Python dengan DataFrames dan pipeline data.

Partisi dan pemrosesan malas

Create Your Free Account