Regular expressions can be pretty intimidating at first as they contain vast amounts of special characters. In this chapter, you'll learn to decipher these and write your own patterns to find exactly what you're looking for.

Welcome

Starts with, ends with

If you don't know what you're looking for

Character classes and repetitions

Digits, words and spaces

Match repetitions

Which special character did what again?

The pipe and the question mark

This or that

The question mark and its two meanings

You can now read this!

Regular Expressions: Writing Custom Patterns

In this chapter, we will slightly move away from regular expressions and focus on string manipulation by creating strings from other data structures like vectors or lists.

Getting to know glue

Stop pasting, start gluing

Gluing data frames

How many arguments can glue take?

Collapsing multiple elements into a string

Formulating a question from a list

Collapsing data frames

Glue and Collapse, what's the difference?

Gluing regular expressions

Construct "or patterns" with glue

Using the "or pattern" with a larger dataset

Make advanced patterns more readable

Creating Strings with Data

One task where regular expressions really shine is making sense from a blob of text. In this chapter, you'll learn to extract the information from messy data that doesn't come in neatly arranged tables but in plain text.

Capturing groups

Match all capturing groups

Search and replace

Can you nest capturing groups?

tidyr's extract

Creating a regex that matches your needs

Why does this fail?

Extracting an advanced regular expression

Extracting matches and surroundings from a text

Extract names with context

So many special characters

Extracting Structured Data From Text

In the last chapter, we will shift gears away from regular expressions to understanding string distances. By calculating the differences of multiple strings, we can match those that are similar. This will help us to find duplicates even when they contain small errors like typos. This is an important part to record linkage where we combine datasets from multiple sources.

Stringafstanden begrijpen

Een stringafstand berekenen

Een typefout in een zoekopdracht matchen

Methoden voor stringafstanden

Methoden

Bewerkingsafstanden

Q-grammethoden

Bewerkingsafstanden vs. q-grammethoden

Verschillende methoden uitproberen

Is de ene afstand beter dan de andere?

Fuzzy joins

Een join op basis van tekenafstand uitvoeren

Stringafstanden van korte strings

Aangepaste fuzzy matching

Overeenkomsten vinden op basis van twee voorwaarden

Waarom op meerdere kolommen joinen?

Gefeliciteerd

Similarities Between Strings

Gegevens analyseren die in tabellen staan is leuk. Maar wat als de dingen die we het interessantst vinden niet beschikbaar zijn als een netjes georganiseerde gegevensset, maar als platte tekst? Geen paniek: in deze cursus leer je alles wat je moet weten om krachtige reguliere expressies te maken waarmee je alle informatie kunt vinden die je nodig hebt voor je analyses, gewoon uit een lap tekst. En dat is niet alles. Met het concept van tekenreeksafstanden leer je ook werken met tekst die typefouten of scanfouten bevat, omdat je die kunt koppelen aan de juiste tegenhangers uit andere databronnen (record linkage). Als oefenmateriaal analyseren we echte documenten over box office-cijfers in Zwitserse bioscopen.

Introduction to the Tidyverse

String Manipulation with stringr in R

Leer tekstgegevens manipuleren, fouten vinden en meer met krachtige reguliere expressies en stringafstanden in R.

Gevorderde reguliere expressies in R

Speel met tekstgegevens, analyseer ze en doe nog veel meer door regelmatige uitdrukkingen en stringafstanden in R onder de knie te krijgen.

Waarom op meerdere kolommen joinen?

Gevorderde reguliere expressies in R

Praktische interactieve oefening