DataFrame에서 SQL 실행하기
PySpark에서는 SQL 쿼리를 사용해 DataFrame을 손쉽게 다룰 수 있어요. SparkSession의 .sql() 메서드는 애플리케이션이 프로그래밍 방식으로 SQL 쿼리를 실행하고, 결과를 또 다른 DataFrame으로 반환하도록 해줍니다. 이 연습 문제에서는 앞에서 만든 DataFrame으로 임시 테이블을 생성한 다음, 임시 테이블에서 사람들의 이름을 선택하는 쿼리를 작성하고 결과를 새 DataFrame에 할당해 보겠습니다.
워크스페이스에는 이미 SparkSession spark와 DataFrame df가 준비되어 있어요.
이 연습은 강의의 일부입니다
PySpark 입문
연습 안내
dfDataFrame에서"people"이라는 이름의 임시 테이블을 만드세요.- 임시 테이블
people에서 사람들의 이름을 선택하는 쿼리를 작성하세요. - Spark 쿼리의 결과를
people_df_names라는 새 DataFrame에 할당하세요. people_df_namesDataFrame에서 상위 10개의 이름을 출력하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a temporary table "people"
df.____("people")
# Select the names from the temporary table people
query = """SELECT name FROM ____"""
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)