자주 나타나는 단어 시퀀스

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Python에서 Spark SQL 입문

SkillTag.level.advancedSkillTag.label

4.7+

이 장에서는 Spark에서 SQL 테이블을 생성하고 쿼리하는 방법을 배웁니다. Spark SQL은 SQL의 표현력을 Spark로 가져옵니다. 또한 Spark에서 SQL 윈도 함수를 사용하는 방법도 학습합니다. 윈도 함수는 현재 행과 관련된 여러 행을 가로질러 계산을 수행합니다. 이는 조인과 전통적 집계만으로 표현하기 어려운 결과를 훨씬 쉽게 만들어 줍니다. 우리는 윈도 함수를 사용해 누적 합, 누적 차이 등 기본 SQL만으로 구현하기 까다로운 연산을 수행해 보겠습니다.

Exercise 1: Spark에서 SQL 테이블 생성과 쿼리 실행 Exercise 2: dataframe에서 SQL 테이블 만들기 Exercise 3: 테이블의 열 이름 확인하기 Exercise 4: 윈도 함수 SQL Exercise 5: 윈도우 함수 SQL로 누적 합계 구하기 Exercise 6: 깨진 쿼리 고치기 Exercise 7: 점 표기법과 SQL Exercise 8: 집계, 단계별로 살펴보기 Exercise 9: 같은 열을 두 번 집계하기 Exercise 10: 집계 도트 SQL Exercise 11: 점 표기법의 window 함수를 SQL로 변환하기

이 장에서는 자연어 텍스트를 로드한 다음, 이동 윈도 분석을 적용해 빈번한 단어 시퀀스를 찾습니다.

Exercise 1: 자연어 텍스트 불러오기 Exercise 2: parquet 파일에서 데이터프레임 로드하기 Exercise 3: 텍스트 열 분리와 펼치기 Exercise 4: monotonically_increasing_id() 사용하기 Exercise 5: 이동 윈도우 분석 Exercise 6: 컨텍스트 윈도우 특성 데이터 만들기 Exercise 7: 데이터 재파티션하기 Exercise 8: 자주 나타나는 단어 시퀀스

현재 연습

Exercise 9: 이 데이터는 어떤 유형일까요 Exercise 10: 자주 등장하는 단어 시퀀스 찾기 Exercise 11: 정렬된 고유 5-튜플 Exercise 12: 챕터별 최빈 3-튜플

앞선 장들에서 윈도 함수 SQL의 표현력을 익혔습니다. 이제 이 표현력을 제대로 활용하려면 DataFrame과 SQL 테이블을 올바르게 캐시하는 방법을 이해하는 것이 중요합니다. 또한 애플리케이션을 평가하는 방법도 알아야 합니다. 이를 Spark UI로 수행하는 방법을 배웁니다. 아울러 Spark에서의 로깅 모범 사례도 살펴봅니다. Spark SQL은 쿼리 성능 문제를 튜닝하는 데 유용한 또 다른 도구인 쿼리 실행 계획을 제공합니다. 실행 계획을 사용해 DataFrame의 소스와 변환 과정을 평가하는 방법을 배우게 됩니다.

Exercise 1: 캐싱 Exercise 2: 캐싱 연습: 1부 Exercise 3: 캐싱 연습: SQL Exercise 4: 캐싱 연습: 모두 종합해 보기 Exercise 5: 테이블 캐싱과 캐시 해제 Exercise 6: Spark UI Exercise 7: Spark UI Storage 탭 Exercise 8: Spark UI에서 캐시 확인하기 Exercise 9: 로깅 Exercise 10: 로깅 연습 Exercise 11: 로깅 연습 2 Exercise 12: 쿼리 계획 Exercise 13: 쿼리 플랜 연습 Exercise 14: 쿼리 플랜 읽기 연습 2

앞선 장에서는 원시 텍스트를 로드하고 토크나이즈하며 단어 시퀀스를 추출하는 도구를 익혔습니다. 이는 분석에 매우 유용할 뿐 아니라 Machine Learning에도 활용할 수 있습니다. 이제 로지스틱 회귀를 사용해 텍스트를 분류하면서 배운 내용을 하나로 연결합니다. 이 장을 마치면 원시 자연어 텍스트 데이터를 로드해 텍스트 분류기를 학습하는 데까지 활용해 보게 됩니다.

Exercise 1: 추출, 변환, 선택 Exercise 2: UDF 만들기 연습 Exercise 3: 배열 컬럼 연습 Exercise 4: 분류를 위한 특성 데이터 만들기 Exercise 5: 벡터 데이터용 UDF 만들기 Exercise 6: 벡터 데이터에 UDF 적용하기 Exercise 7: 텍스트를 벡터 형식으로 변환하기 Exercise 8: 텍스트 분류 Exercise 9: 데이터에 레이블 지정하기 Exercise 10: 데이터 분할하기 Exercise 11: 분류기 학습시키기 Exercise 12: 예측과 평가 Exercise 13: 분류기 평가하기 Exercise 14: 테스트 데이터 예측하기 Exercise 15: 정리