Postgres 데이터베이스에 적재된 데이터 검증하기
이번 연습 문제에서는 드디어 처음부터 끝까지 완전한 데이터 파이프라인을 구축해 보겠습니다. 이 파이프라인은 JSON 파일에서 학교 시험 점수를 추출하고, 점수가 누락된 행을 제거하도록 데이터를 변환합니다. 또한 각 학교는 총점을 기준으로 소속 도시 내에서 순위가 매겨집니다. 마지막으로, 변환된 데이터셋은 Postgres 데이터베이스에 저장됩니다.
시작에 도움이 되도록 extract() 함수와 transform() 함수가 이미 아래와 같이 작성되어 사용되었습니다. 또한 pandas는 pd로 임포트되어 있습니다. 행운을 빕니다!
# Extract and clean the testing scores.
raw_testing_scores = extract("testing_scores.json")
cleaned_testing_scores = transform(raw_testing_scores)
이 연습은 강의의 일부입니다
Python으로 하는 ETL과 ELT
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
def load(clean_data, con_engine):
# Store the data in the schools database
clean_data.____(
name="scores_by_city",
con=con_engine,
____="____", # Make sure to replace existing data
index=True,
index_label="school_id"
)