PySpark로 데이터 필터링

이번 연습에서는 파일을 lakehouse에 업로드한 뒤, PySpark로 데이터를 필터링해 보겠습니다. 파일에는 비디오 게임과 퍼블리셔 목록이 들어 있습니다. 퍼블리셔가 Atari인 비디오 게임만 다룰 수 있도록 데이터셋을 줄여 보려고 해요.

참고: API 속도 제한(rate limit) 오류가 발생하면, 보통 이전 Fabric 작업이 아직 끝나지 않았기 때문입니다. 왼쪽 세로 메뉴의 Monitor 페이지에서 활성 Fabric 작업을 확인할 수 있어요. Monitor 페이지에서 오래된 Fabric 작업을 취소하면 속도 제한 오류가 대부분 해결됩니다.