Spark 구성 읽기
최근 클라우드 제공업체를 통해 클러스터를 구성했어요. 접근 방식은 명령 셸이나 Python 코드뿐이에요. 클러스터 구성이 올바른지 확인하기 위해 몇 가지 Spark 설정을 검증하려고 합니다.
spark 객체는 사용할 수 있어요.
이 연습은 강의의 일부입니다
PySpark로 데이터 정제하기
연습 안내
- Spark 애플리케이션 인스턴스 이름('spark.app.name')을 확인하세요.
- 드라이버가 실행되는 TCP 포트('spark.driver.port')를 확인하세요.
- 조인에 대해 설정된 파티션 수를 확인하세요.
- 결과를 출력하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)