PySpark 셸에서 데이터 불러오기
PySpark에서는 클러스터 전반에 자동으로 병렬화되는 분산 컬렉션에 대해 연산을 수행해 계산을 표현합니다. 이전 연습 문제에서는 리스트를 병렬 컬렉션으로 불러오는 예를 보셨고, 이번에는 PySpark 셸에서 로컬 파일에서 데이터를 불러오겠습니다.
워크스페이스에는 이미 SparkContext sc와 file_path 변수가 준비되어 있어요(이는 README.md 파일의 경로입니다).
이 연습은 강의의 일부입니다
PySpark로 배우는 빅데이터 기초
연습 안내
- 로컬 텍스트 파일
README.md를 PySpark 셸에서 불러오세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Load a local file into PySpark shell
lines = sc.____(file_path)