이 챕터에서는 Dask와 지연 평가의 기본을 배웁니다. 챕터가 끝나면 병렬 처리나 멀티스레딩을 활용해 거의 모든 Python 코드를 더 빠르게 실행할 수 있어요. 두 가지 작업 스케줄링 방식의 차이와 상황에 따라 어떤 방법이 더 유리한지도 익히게 됩니다.

Dask 소개

지연 평가

함수 지연시키기

태스크 그래프와 스케줄링 방식

스케줄러에는 어떤 종류가 있나요?

작업 그래프 그리기

지연 파이프라인 구축하기

Spotify의 노래 분석하기

요즘 노래는 얼마나 춤추기 좋을까요?

가장 인기 있는 노래

지연 평가와 병렬 컴퓨팅

이제 Dask array와 Dask DataFrame을 사용해 대규모 구조적 데이터를 분석하는 방법을 배웁니다. NumPy와 pandas에서 알던 내용을 메모리에 다 담을 수 없는 데이터에도 손쉽게 적용할 수 있다는 점을 확인할 거예요.

Dask 배열

Dask 배열의 chunksize

사진 불러오기와 처리

이미지 처리 파이프라인

Dask 데이터프레임

CSV에서 Dask DataFrame 만들기

Parquet에서 Dask DataFrame 읽기

여름철 그루브

다차원 배열

HDF5 파일 탐색

HDF5 데이터셋에서 Dask 배열 만들기

Zarr 데이터셋에서 Dask 배열 불러오기

Xarray

xarray로 탐색적 데이터 분석

월별 평균 기온

유럽 기온의 추세 계산하기

대규모 구조적 데이터의 병렬 처리

어떤 형태의 데이터든 처리해 보세요. Dask bag을 사용하면 비정형 텍스트, 반정형 JSON, 심지어 녹음된 오디오까지 효율적으로 처리할 수 있습니다.

Dask bag 소개

Dask bag 만들기

저장된 텍스트에서 bag 만들기

문자열 연산

Dask bag 연산

JSON 데이터 불러오기

Dask bag 필터링

연산 연결하기

비정형 데이터를 DataFrame으로 변환하기

딕셔너리 구조 재정리

DataFrame으로 변환하기

Dask bag로 어떤 데이터든 활용하기

WAV 데이터 불러오기

사용자 지정 Dask bag 구성하기

비정형 오디오 처리

비정형 데이터를 위한 Dask Bag

Dask의 성능을 활용해 Machine Learning 모델을 학습해 보세요. Dask-ML 패키지를 사용해 빅데이터에서 Machine Learning 모델을 학습하는 방법과, 프로세스와 스레드를 혼합해 Dask 계산을 분할함으로써 계산 속도를 한층 더 높이는 방법을 배웁니다.

프로세스와 스레드 사용하기

어떤 스케줄러가 사용될까요?

클러스터와 클라이언트

대규모 데이터셋으로 Machine Learning 모델 학습하기

Dask로 선형 모델 학습하기

지연 계산으로 예측하기

대규모 데이터셋 전처리

훈련 데이터를 지연 변환하기

지연 평가로 train-test 분할

마무리

Dask로 하는 Machine Learning과 마무리

European Rainfall - Zarr

Spotify Songs - CSV

European Rainfall - HDF5

Spotify Songs - Parquet

Politicians

Tripadvisor Hotel Reviews

빅데이터를 다루다 보면 두 가지 흔한 어려움이 있습니다. 메모리 과다 사용과 긴 실행 시간입니다. Dask 라이브러리는 필요한 때에만 데이터를 청크 단위로 불러와 메모리 사용을 줄일 수 있어요. 또한 사용 가능한 모든 컴퓨팅 코어를 병렬로 활용해 실행 시간을 단축합니다. 가장 좋은 점은, 기존 Python 코드를 거의 수정하지 않아도 된다는 것입니다. 이 강의에서는 Dask를 사용해 Spotify 노래 데이터 분석, 수어 제스처 이미지 처리, 기상 데이터의 추세 계산, 오디오 녹음 분석, 그리고 빅데이터에서의 Machine Learning 모델 학습을 수행합니다.

<h2>병렬 처리를 사용하여 Python 코드 속도 높이기</h2>
이 4시간 강의로 Python에서 Dask를 활용한 병렬 처리가 워크플로를 얼마나 더 빠르게 만들 수 있는지 알아보세요. 
<br><br>
빅 데이터로 작업할 때 흔히 마주하는 두 가지 장애물은 너무 많은 메모리 사용과 긴 실행 시간입니다. Dask 라이브러리는 데이터 청크를 필요할 때만 로드하여 메모리 사용량을 줄일 수 있습니다. 사용 가능한 모든 컴퓨팅 코어를 병렬로 활용하여 실행 시간을 줄일 수 있습니다. 무엇보다도 기존 Python 코드에 거의 변경이 필요하지 않습니다.
<br><br>
<h2>Dask DataFrame를 사용하여 대규모 구조화된 데이터 분석하기</h2>
이 강의에서는 Dask를 사용하여 Spotify 노래 데이터를 분석하고, 수화 동작 이미지를 처리하며, 날씨 데이터의 추세를 계산하고, 오디오 녹음을 분석하며, 빅 데이터에서 머신 러닝 모델을 학습합니다.
<br><br>
먼저 Dask의 기본을 배우고, Python에서 병렬 처리가 거의 모든 코드를 얼마나 빠르게 만들 수 있는지 살펴보게 됩니다. 다음으로, Dask DataFrame과 배열을 살펴보고 이를 활용해 대규모 구조화된 데이터를 분석하는 방법을 알아봅니다. 
<br><br>
<h2>Dask-ML을 사용하여 머신 러닝 모델을 학습시키기</h2>
이 강의의 51개 연습문제를 진행하면서, Dask bags를 사용해 비정형 데이터와 정형 데이터를 다루며 어떤 유형의 데이터든 처리하는 방법을 배우게 됩니다. 마지막으로, Python에서 Dask를 사용해 머신 러닝 모델을 학습하고 컴퓨팅 속도를 향상시키는 방법을 배우게 됩니다.

Data Manipulation with pandas

Python Toolbox

Dask로 파이썬 병렬 프로그래밍을 배워 워크플로를 확장하고 빅데이터를 효율적으로 처리하세요.

Python에서 Dask로 병렬 프로그래밍

Dask로 Python 병렬 프로그래밍을 익혀 워크플로를 확장하고 빅데이터를 효율적으로 처리하세요.

Climate Informatics Researcher

대규모 데이터셋에서 머신 러닝 모델 학습

Dask-ML

선형 회귀

선형 회귀 모델 적합

Dask에서 scikit-learn 모델 사용

적합은 여러 반복이 필요함

증분(Incremental) 모델 학습

예측값 생성

연습해 봅시다!

Dask로 하는 Machine Learning과 마무리 - 대규모 데이터셋으로 Machine Learning 모델 학습하기

대규모 데이터셋으로 Machine Learning 모델 학습하기

Create Your Free Account