시작하기무료로 시작하기

셔플 병목 현상 이해하기

Global Retail Analytics의 매니저가 online_retail 데이터셋(100,000행 이상)에 country_lookup(44행)의 지역 데이터를 추가해 달라고 요청합니다. 표준 left join을 작성했지만 쿼리 실행에 몇 분이 걸립니다. 시니어 엔지니어가 .explain() 출력을 확인하다가 ShuffleExchange 노드를 발견하고 이렇게 말합니다. "셔플이 병목입니다."

시니어 엔지니어가 말하는 "셔플"은 무엇을 의미할까요?

이 연습은 강의의 일부입니다

Databricks에서 Spark SQL로 데이터 변환하기

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작