Det här kapitlet introducerar grunderna i Dask och lat evaluering. När du är klar kommer du att kunna snabba upp nästan vilken Python-kod som helst med hjälp av parallellbearbetning eller flertrådning. Du lär dig skillnaden mellan dessa två schemaläggningsmetoder och när respektive metod passar bäst.

Introduktion till Dask

Lat evaluering

Fördröja funktioner

Uppgiftsgrafer och schemaläggningsmetoder

Vilka schemaläggare finns det?

Visualisera uppgiftsgrafen

Att bygga fördröjda pipelines

Analysera låtar på Spotify

Hur dansvänliga är dagens låtar?

De mest populära låtarna

Lat evaluering och parallellberäkning

Här lär du dig att analysera stora, strukturerade datamängder med Dask-arrayer och Dask DataFrames. Du ser hur dina kunskaper om NumPy och pandas enkelt kan tillämpas på data som är för stora för att rymmas i minnet.

Dask-arrayer

Chunkstorlekar i Dask-arrayer

Ladda och bearbeta foton

En bildbehandlingspipeline

Dask DataFrames

Skapa Dask-dataramar från CSV-filer

Läs Dask DataFrames från Parquet

Sommarens danslåtar

Flerdimensionella arrayer

Utforska HDF5-filer

Dask-arrayer från HDF5-datamängder

Dask-arrayer från Zarr-datamängder

Xarray

Explorativ dataanalys med xarray

Månadsvis medeltemperatur

Beräkna temperaturtrenden i Europa

Parallell bearbetning av stora, strukturerade data

Bearbeta data av alla slag. Du lär dig hur Dask-bags kan användas för att effektivt hantera ostrukturerad textdata, semistrukturerad JSON-data och till och med inspelade ljud.

Introduktion till Dask bags

Skapa en Dask bag

Skapa en bag från sparad text

Strängoperationer

Dask bag-operationer

Läsa in JSON-data

Filtrera Dask bags

Kedja ihop operationer

Konvertera ostrukturerad data till en DataFrame

Omstrukturering av en ordlista

Konvertera till DataFrame

Använd valfri data i Dask bags

Läsa in wav-data

Skapa anpassade Dask-bags

Bearbeta ostrukturerad ljuddata

Dask-bags för ostrukturerad data

Utnyttja Dasks kapacitet för att träna maskininlärningsmodeller. Du lär dig att träna modeller på stora datamängder med paketet Dask-ML, och hur du fördelar Dask-beräkningar över en kombination av processer och trådar för ännu högre beräkningshastighet.

Processer och trådar

Vilken schemaläggare används?

Kluster och klienter

Träna maskininlärningsmodeller på stora datamängder

Träna en linjär modell med Dask

Lata förutsägelser

Förbehandling av stora datamängder

Lat transformering av träningsdata

Lat tränings- och testuppdelning

Avslutning

Maskininlärning med Dask och avslutande delar

European Rainfall - Zarr

Spotify Songs - CSV

European Rainfall - HDF5

Spotify Songs - Parquet

Politicians

Tripadvisor Hotel Reviews

När du arbetar med stora datamängder stöter du ofta på två vanliga problem: för hög minnesanvändning och långa körtider. Dask-biblioteket minskar minnesanvändningen genom att bara läsa in delar av data när det behövs. Det kortar körtiderna genom att utnyttja alla tillgängliga processorkärnor parallellt. Och det bästa: det kräver väldigt få ändringar i din befintliga Python-kod. I den här kursen använder du Dask för att analysera Spotify-låtdata, bearbeta bilder av teckenspråksrörelser, beräkna trender i väderdata, analysera ljudinspelningar och träna maskininlärningsmodeller på stora datamängder.

<h2>Använd parallell bearbetning för att snabba upp din Python-kod</h2>
Med den här 4-timmarskursen får du upptäcka hur parallell bearbetning med Dask i Python kan göra dina arbetsflöden snabbare. 
<br><br>
När du arbetar med big data stöter du på två vanliga hinder: att använda för mycket minne och långa körtider. Dask-biblioteket kan minska din minnesanvändning genom att läsa in datasegment endast när de behövs. Det kan minska körtiderna genom att använda alla tillgängliga beräkningskärnor parallellt. Det bästa av allt är att det kräver mycket få ändringar i din befintliga Python-kod.
<br><br>
<h2>Analysera stora strukturerade data med Dask DataFrames</h2>
I den här kursen använder du Dask för att analysera Spotify-låtdata, bearbeta bilder av teckenspråksgester, beräkna trender i väderdata, analysera ljudinspelningar och träna maskininlärningsmodeller på big data.
<br><br>
Du börjar med att lära dig grunderna i Dask och utforska hur parallell bearbetning i Python kan snabba upp nästan all kod. Därefter kommer du att utforska Dask DataFrames och arrayer samt hur du använder dem för att analysera stora strukturerade data. 
<br><br>
<h2>Träna maskininlärningsmodeller med Dask-ML</h2>
När du går igenom de 51 övningarna i den här kursen lär du dig hur du bearbetar alla typer av data, med hjälp av Dask bags för att arbeta med ostrukturerad och strukturerad data. Slutligen lär du dig hur du använder Dask i Python för att träna maskininlärningsmodeller och förbättra din beräkningshastighet.

Data Manipulation with pandas

Python Toolbox

Lär dig använda Python parallellprogrammering med Dask för att effektivt hantera stora datamängder.

Parallellprogrammering med Dask i Python

Lär dig använda parallell programmering i Python med Dask för att skala upp dina arbetsflöden och hantera big data effektivt. 

Climate Informatics Researcher

Nästlad JSON-data

Omstrukturera ett lexikon

Ta bort delar av lexikonet

Välja delar av lexikonet

Nu kör vi en övning!

Dask-bags för ostrukturerad data - Konvertera ostrukturerad data till en DataFrame

Konvertera ostrukturerad data till en DataFrame

Create Your Free Account