1. 학습
  2. /
  3. 강의
  4. /
  5. PySpark로 배우는 빅데이터 기초

Connected

연습 문제

PySpark 셸에서 데이터 불러오기

PySpark에서는 클러스터 전반에 자동으로 병렬화되는 분산 컬렉션에 대해 연산을 수행해 계산을 표현합니다. 이전 연습 문제에서는 리스트를 병렬 컬렉션으로 불러오는 예를 보셨고, 이번에는 PySpark 셸에서 로컬 파일에서 데이터를 불러오겠습니다.

워크스페이스에는 이미 SparkContext sc와 file_path 변수가 준비되어 있어요(이는 README.md 파일의 경로입니다).

지침

100 XP
  • 로컬 텍스트 파일 README.md를 PySpark 셸에서 불러오세요.