Memvalidasi data yang dimuat ke Database Postgres
Dalam latihan ini, Anda akhirnya akan membangun sebuah pipeline data dari awal hingga akhir. Pipeline ini akan mengekstrak nilai ujian sekolah dari sebuah file JSON dan mentransformasikan data dengan menghapus baris yang memiliki nilai kosong. Selain itu, setiap sekolah akan diberi peringkat berdasarkan kota tempat mereka berada, menggunakan total nilainya. Terakhir, himpunan data yang telah ditransformasikan akan disimpan dalam database Postgres.
Untuk memulai, fungsi extract() dan transform() sudah dibuat dan digunakan seperti di bawah ini. Selain itu, pandas telah diimpor sebagai pd. Semoga sukses!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
Latihan ini merupakan bagian dari kursus
ETL dan ELT di Python
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)