Ten rozdział wprowadzi cię w podstawy Dask i leniwego wartościowania. Po jego ukończeniu będziesz potrafić przyspieszyć niemal każdy kod Pythona, korzystając z przetwarzania równoległego lub wielowątkowości. Poznasz różnicę między tymi dwiema metodami planowania zadań i dowiesz się, kiedy każda z nich sprawdza się lepiej.

Wprowadzenie do Daska

Leniwa ewaluacja

Opóźnianie funkcji

Grafy zadań i metody szeregowania

Czym różnią się poszczególne harmonogramisty?

Wizualizacja grafu zadań

Budowanie opóźnionych potoków

Analiza utworów na Spotify

Czy współczesne piosenki nadają się do tańca?

Najpopularniejsze piosenki

Leniwe wartościowanie i przetwarzanie równoległe

Nauczysz się analizować duże, ustrukturyzowane dane przy użyciu tablic Dask i Dask DataFrames. Przekonasz się, że wiedza o NumPy i pandas łatwo przekłada się na pracę z danymi zbyt dużymi, by zmieścić się w pamięci.

Tablice Dask

Rozmiary fragmentów tablicy Dask

Wczytywanie i przetwarzanie zdjęć

Potok przetwarzania obrazów

Dask DataFrames

Tworzenie Dask DataFrame z plików CSV

Wczytywanie Dask DataFrames z plików Parquet

Letnie rytmy

Tablice wielowymiarowe

Eksploracja plików HDF5

Tablice Dask z zestawów danych HDF5

Tablice Dask z zbiorów danych Zarr

Xarray

Eksploracyjna analiza danych z xarray

Miesięczne średnie temperatury

Obliczanie trendu temperatur w Europie

Równoległe przetwarzanie dużych, ustrukturyzowanych danych

Przetwarzaj dane dowolnego rodzaju. Dowiesz się, jak Dask bags umożliwiają wydajne przetwarzanie nieustrukturyzowanych danych tekstowych, półustrukturyzowanych danych JSON, a nawet nagrań audio.

Wprowadzenie do worków Dask

Tworzenie Dask bag

Tworzenie worka z zapisanych plików tekstowych

Operacje na tekstach

Operacje na workach Dask

Wczytywanie danych JSON

Filtrowanie Dask bags

Łączenie operacji

Konwersja danych niestrukturalnych do DataFrame

Restrukturyzacja słownika

Konwersja do DataFrame

Używanie dowolnych danych w workach Dask

Wczytywanie danych WAV

Tworzenie własnych worków Dask

Przetwarzanie nieustrukturyzowanych danych audio

Dask Bags do danych nieustrukturyzowanych

Wykorzystaj możliwości Dask do trenowania modeli uczenia maszynowego. Nauczysz się trenować modele na dużych zbiorach danych za pomocą pakietu Dask-ML oraz rozdzielać obliczenia Dask między procesy i wątki, uzyskując jeszcze większą szybkość przetwarzania.

Procesy i wątki

Który scheduler zostanie użyty?

Klastry i klienty

Trenowanie modeli uczenia maszynowego na dużych zbiorach danych

Trenowanie modelu liniowego za pomocą Dask

Leniwe prognozowanie

Przetwarzanie wstępne dużych zbiorów danych

Leniwe przekształcanie danych treningowych

Leniwy podział na zbiór treningowy i testowy

Podsumowanie

Dask Machine Learning i zagadnienia końcowe

European Rainfall - Zarr

Spotify Songs - CSV

European Rainfall - HDF5

Spotify Songs - Parquet

Politicians

Tripadvisor Hotel Reviews

Pracując z dużymi zbiorami danych, napotkasz dwa typowe problemy: nadmierne zużycie pamięci i długi czas wykonania. Biblioteka Dask pozwala ograniczyć zużycie pamięci, wczytując dane fragmentami tylko wtedy, gdy są potrzebne. Skraca też czas obliczeń, wykorzystując wszystkie dostępne rdzenie procesora do przetwarzania równoległego. Co więcej, wymaga bardzo niewielu zmian w istniejącym kodzie Pythona. W tym kursie użyjesz Dask do analizy danych piosenek ze Spotify, przetwarzania obrazów gestów języka migowego, obliczania trendów w danych pogodowych, analizy nagrań audio oraz trenowania modeli uczenia maszynowego na dużych danych.

<h2>Wykorzystaj przetwarzanie równoległe, aby przyspieszyć swój kod w Pythonie</h2>
Dzięki temu 4-godzinnemu kursowi odkryjesz, jak przetwarzanie równoległe z Dask w Pythonie może przyspieszyć Twoje procesy robocze. 
<br><br>
Pracując z dużymi zbiorami danych, napotkasz dwa częste problemy: zbyt duże zużycie pamięci i długi czas wykonywania. Biblioteka Dask może zmniejszyć zużycie pamięci, ładując fragmenty danych tylko wtedy, gdy są potrzebne. Może skrócić czas działania, wykorzystując równolegle wszystkie dostępne rdzenie obliczeniowe. Co najlepsze, wymaga bardzo niewielu zmian w Twoim istniejącym kodzie Python.
<br><br>
<h2>Analizuj duże ustrukturyzowane dane za pomocą Dask DataFrames</h2>
W tym kursie używasz Dask do analizy danych o utworach Spotify, przetwarzania obrazów gestów języka migowego, obliczania trendów w danych pogodowych, analizowania nagrań audio oraz trenowania modeli uczenia maszynowego na dużych zbiorach danych.
<br><br>
Zaczniesz od poznania podstaw Dask, odkrywając, jak przetwarzanie równoległe w Pythonie może przyspieszyć niemal każdy kod. Następnie poznasz Dask DataFrames i tablice oraz dowiesz się, jak wykorzystywać je do analizy dużych, uporządkowanych danych. 
<br><br>
<h2>Trenuj modele uczenia maszynowego za pomocą Dask-ML</h2>
W miarę postępów przez 51 ćwiczeń w tym kursie nauczysz się, jak przetwarzać dowolny rodzaj danych, wykorzystując Dask bags do pracy z danymi nieustrukturyzowanymi i ustrukturyzowanymi. Wreszcie nauczysz się, jak używać Dask w Pythonie do trenowania modeli uczenia maszynowego i zwiększania szybkości obliczeń.

Data Manipulation with pandas

Python Toolbox

Poznaj programowanie równoległe w Pythonie z Dask, aby efektywnie przetwarzać duże zbiory danych.

Programowanie równoległe z Dask w Pythonie

Poznaj programowanie równoległe w Pythonie z Dask, aby skalować przepływy pracy i sprawnie obsługiwać big data. 

Climate Informatics Researcher

Dask-ML

Regresja liniowa

Dopasowanie modelu regresji liniowej

Użycie modelu scikit-learn z Dask

Dopasowanie wymaga wielu iteracji

Trenowanie modelu Incremental

Generowanie prognoz

Czas na ćwiczenia!

Dask Machine Learning i zagadnienia końcowe - Trenowanie modeli uczenia maszynowego na dużych zbiorach danych

Trenowanie modeli uczenia maszynowego na dużych zbiorach danych

Create Your Free Account