셔플 병목 현상 이해하기
Global Retail Analytics의 매니저가 online_retail 데이터셋(100,000행 이상)에 country_lookup(44행)의 지역 데이터를 추가해 달라고 요청합니다. 표준 left join을 작성했지만 쿼리 실행에 몇 분이 걸립니다. 시니어 엔지니어가 .explain() 출력을 확인하다가 ShuffleExchange 노드를 발견하고 이렇게 말합니다. "셔플이 병목입니다."
시니어 엔지니어가 말하는 "셔플"은 무엇을 의미할까요?
이 연습은 강의의 일부입니다
