Memvalidasi data yang dimuat ke Database Postgres
Pada latihan ini, Anda akhirnya akan membangun pipeline data dari awal hingga akhir. Pipeline ini akan mengekstrak nilai ujian sekolah dari sebuah file JSON dan mentransformasikan data dengan menghapus baris yang memiliki nilai kosong. Selain itu, setiap sekolah akan diberi peringkat berdasarkan kota tempat mereka berada, menggunakan total nilainya. Terakhir, himpunan data yang telah ditransformasi akan disimpan di database Postgres.
Untuk memudahkan Anda, fungsi extract() dan transform() telah dibuat dan digunakan seperti di bawah ini. Selain itu, pandas telah diimpor sebagai pd. Semoga berhasil!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Latihan ini adalah bagian dari kursus
ETL dan ELT di Python
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)