Het web is een rijke bron van data waaruit je allerlei inzichten en bevindingen kunt halen. In dit hoofdstuk leer je hoe je data van het web haalt, of die nu in bestanden staat of in HTML is ingebed. Je leert ook de basis van het scrapen en parsen van webdata.

Platte bestanden van het web importeren

Platte bestanden van het web importeren: jouw beurt!

Platte bestanden van het web openen en inlezen

Niet-platte bestanden van het web importeren

HTTP-verzoeken om bestanden van het web te importeren

HTTP-verzoeken uitvoeren in Python met urllib

HTTP-resultaten afdrukken in Python met urllib

HTTP-verzoeken uitvoeren in Python met requests

Het web scrapen in Python

HTML parsen met BeautifulSoup

Een webpagina omzetten naar data met BeautifulSoup: de tekst ophalen

Een webpagina omzetten naar data met BeautifulSoup: de hyperlinks ophalen

Data importeren vanaf het internet

In dit hoofdstuk verdiep je je in het importeren van data van het web. Je leert de basis van data extraheren uit API’s, krijgt inzicht in het belang van API’s en oefent met data ophalen via de OMDB- en Library of Congress-API’s.

Introductie tot API's en JSON's

Tussendoorvraag: Wat is een JSON precies?

Een JSON laden en verkennen

Popquiz: Je JSON verkennen

API's en interactie met het wereldwijde web

Popquiz: Wat is een API?

API-verzoeken

JSON—van het web naar Python

De Wikipedia API verkennen

Interactie met API’s om data van het web te importeren

In dit hoofdstuk consolideer je je kennis van het werken met API’s in een deep dive in de Twitter streaming API. Je leert hoe je real-time Twitter-data streamt en hoe je die analyseert en visualiseert.

De Twitter API en authenticatie

Tweets streamen

Laad en verken je Twitter-gegevens

Twitter-gegevens naar DataFrame

Een beetje Twitter-tekstanalyse

Je Twittergegevens plotten

Tot slot

Diep duiken in de Twitter API

Latitudes (XLS)

Tweets

Red wine quality

Course Glossary

Als data scientist moet je data opschonen, transformeren en bewerken, visualiseren, voorspellende modellen bouwen en deze modellen interpreteren. Voor het zover is, moet je weten hoe je data in Python krijgt. In de voorloper van deze cursus leerde je op verschillende manieren data importeren in Python: uit platte bestanden zoals .txt en .csv; uit bestanden van andere software zoals Excel-spreadsheets en bestanden van Stata, SAS en MATLAB; en uit relationele databases zoals SQLite en PostgreSQL. In deze cursus bouw je hierop voort door te leren hoe je data van het web importeert en hoe je data ophaalt via Application Programming Interfaces — API’s — zoals de Twitter streaming API, waarmee je real-time tweets kunt streamen.

De video’s bevatten live-transcripten die je kunt tonen door linksonder in de video’s op "Show transcript" te klikken.
De begrippenlijst van de cursus vind je rechts in de sectie met bronnen.
Om CPE-punten te behalen, moet je de cursus afronden en minimaal 70% scoren op de gekwalificeerde toets. Je gaat naar de toets door rechts op de callout voor CPE-punten te klikken.

Introduction to Importing Data in Python

Leer hoe je data in Python importeert van bronnen zoals het web en API's, zoals de Twitter API.

Gevorderd data importeren in Python

Verbeter je Python-vaardigheden voor het importeren van data en leer werken met web- en API-data.

Data-engineer in Python

Datawetenschapper in Python

Gegevens importeren en opschonen  in Python

Tussendoorvraag: Wat is een JSON precies?

Gevorderd data importeren in Python

Interactieve oefening met praktijkervaring