Regular expressions can be pretty intimidating at first as they contain vast amounts of special characters. In this chapter, you'll learn to decipher these and write your own patterns to find exactly what you're looking for.

Welcome

Starts with, ends with

If you don't know what you're looking for

Character classes and repetitions

Digits, words and spaces

Match repetitions

Which special character did what again?

The pipe and the question mark

This or that

The question mark and its two meanings

You can now read this!

Regular Expressions: Writing Custom Patterns

In this chapter, we will slightly move away from regular expressions and focus on string manipulation by creating strings from other data structures like vectors or lists.

Kennismaken met glue

Stoppen met plakken, beginnen met glue

Data frames samenvoegen met glue

Hoeveel argumenten kan glue verwerken?

Meerdere elementen samenvoegen tot één string

Een vraag formuleren op basis van een lijst

Data frames samenvoegen

Glue en Collapse, wat is het verschil?

Reguliere expressies samenvoegen

Bouw "of-patronen" met glue

Het "of-patroon" gebruiken met een grotere dataset

Maak geavanceerde patronen beter leesbaar

Creating Strings with Data

One task where regular expressions really shine is making sense from a blob of text. In this chapter, you'll learn to extract the information from messy data that doesn't come in neatly arranged tables but in plain text.

Capturing groups

Match all capturing groups

Search and replace

Can you nest capturing groups?

tidyr's extract

Creating a regex that matches your needs

Why does this fail?

Extracting an advanced regular expression

Extracting matches and surroundings from a text

Extract names with context

So many special characters

Extracting Structured Data From Text

In the last chapter, we will shift gears away from regular expressions to understanding string distances. By calculating the differences of multiple strings, we can match those that are similar. This will help us to find duplicates even when they contain small errors like typos. This is an important part to record linkage where we combine datasets from multiple sources.

Understanding string distances

Calculating a string distance

Finding a match to a search typo

Methods of string distances

Edit distances vs. q-gram methods

Trying out different methods

Is one distance better than the other?

Fuzzy joins

Performing a string distance join

String distances of short strings

Custom Fuzzy Matching

Finding matches based on two conditions

Why join on multiple columns?

Congratulations

Similarities Between Strings

Gegevens analyseren die in tabellen staan is leuk. Maar wat als de dingen die we het interessantst vinden niet beschikbaar zijn als een netjes georganiseerde gegevensset, maar als platte tekst? Geen paniek: in deze cursus leer je alles wat je moet weten om krachtige reguliere expressies te maken waarmee je alle informatie kunt vinden die je nodig hebt voor je analyses, gewoon uit een lap tekst. En dat is niet alles. Met het concept van tekenreeksafstanden leer je ook werken met tekst die typefouten of scanfouten bevat, omdat je die kunt koppelen aan de juiste tegenhangers uit andere databronnen (record linkage). Als oefenmateriaal analyseren we echte documenten over box office-cijfers in Zwitserse bioscopen.

Introduction to the Tidyverse

String Manipulation with stringr in R

Leer tekstgegevens manipuleren, fouten vinden en meer met krachtige reguliere expressies en stringafstanden in R.

Gevorderde reguliere expressies in R

Speel met tekstgegevens, analyseer ze en doe nog veel meer door regelmatige uitdrukkingen en stringafstanden in R onder de knie te krijgen.

Glue en Collapse, wat is het verschil?

Gevorderde reguliere expressies in R

Praktische interactieve oefening