Bespaar tijd bij complexe, repetitieve taken. Je begint deze cursus met een opfrissing van veelgebruikte commandoregelprogramma’s en argumenten en stapt daarna snel over naar de wereld van Bash-scripting. Je maakt eenvoudige commandoregelpijplijnen en zet die vervolgens om in Bash-scripts. Daarna breid je je vaardigheden uit en leer je over standaardstromen en het doorgeven van argumenten aan je Bash-scripts.

Introductie en opfrisser

Scores extraheren met de shell

Een boek doorzoeken met de shell

Je eerste Bash-script

Een eenvoudig Bash-script

Shell-pijplijnen naar Bash-scripts

Gegevens bewerken met Bash-scripts

Standaardstromen en argumenten

Argumenten gebruiken in Bash-scripts

Argumenten gebruiken met HR-gegevens

Van commandoregel naar Bash-script

Beheers de basis van Bash-scripts: variabelen! In dit hoofdstuk leer je hoe je eenvoudige string- en numerieke variabelen maakt en er berekeningen mee uitvoert. Je ontdekt ook de magie van een shell-in-een-shell (shell-ception), waarmee enorme mogelijkheden voor geavanceerd scripten opengaan.

Basisvariabelen in Bash

Variabelen gebruiken in Bash

Shell in een shell

Numerieke variabelen in Bash

Fahrenheit omzetten naar Celsius

Gegevens uit bestanden halen

Arrays in Bash

Een array maken

Associatieve arrays maken

Klimaatberekeningen in Bash

Variabelen in Bash-scripting

Het leven is niet altijd lineair en jouw Bash-scripts ook niet. In dit hoofdstuk til je je Bash-scripts naar een hoger niveau met besturingsconstructies. Je leert de verschillen tussen FOR-, WHILE-, IF- en CASE-instructies en hoe je ze gebruikt in je Bash-scripts. Met deze nieuwe tools ben je klaar om geavanceerdere Bash-scripts te bouwen met conditionele logica.

IF-instructies

# Extract Accuracy from first ARGV element
accuracy=$(grep ____ $1 | sed 's/.* //')

# Conditionally move into good_models folder
if [ $accuracy -____ 90 ]; then
    mv $1 ____/
____

# Conditionally move into bad_models folder
if [ $accuracy -lt 90 ]; then
    mv $1 ____/
fi


# Extract Accuracy from first ARGV element
accuracy=$(grep Accuracy $1 | sed 's/.* //')

# Conditionally move into good_models folder
if [ $accuracy -ge 90 ]; then
    mv $1 good_models/
fi

# Conditionally move into bad_models folder
if [ $accuracy -lt 90 ]; then
    mv $1 bad_models/
fi


Modelresultaten sorteren

# Create variable from first ARGV element
sfile=____

# Create an IF statement on sfile's contents
if ____ -q 'SRVM_' $sfile && grep -q '____' $sfile ; ____
	
    # Move file if matched
	mv $sfile ____/
        
fi

# Create variable from first ARGV element
sfile=$1

# Create an IF statement on sfile's contents
if grep -q 'SRVM_' $sfile && grep -q 'vpt' $sfile; then
	
    # Move file if matched
	mv $sfile good_logs/
    
fi

Relevante bestanden verplaatsen

FOR-loops en WHILE-statements

# Use a FOR loop on files in directory
for file in ____/*.____
____  
    # Echo out each file
    echo ____
____


# Use a FOR loop on files in directory
for file in inherited_folder/*.R
do  
    # Echo out each file
    echo $file
done


Een simpele FOR-lus

Een WHILE-statement corrigeren

# Create a FOR statement on files in directory
for file in robs_files/____
____  
    # Create IF statement using grep
    ____ grep -____ '____' $file ; ____
        # Move wanted files to to_keep/ folder
        ____ $file to_keep/
    fi
____


# Create a FOR statement on files in directory
for file in robs_files/*.py
do  
    # Create IF statement using grep
    if grep -q 'RandomForestClassifier' $file ; then
        # Move wanted files to to_keep/ folder
        mv $file to_keep/
    fi
done


Een map opschonen

CASE-instructies

# Create a CASE statement matching the first ARGV element
case ____ in
  # Match on all weekdays
  ____|____|____|____|____)
  echo "It is a Weekday!"____
  # Match on all weekend days
  ____|Sunday)
  echo "It is a Weekend!"____
  # Create a default
  ____) 
  echo "Not a day!"____
____


# Create a CASE statement matching the first ARGV element
case $1 in
  # Match on all weekdays
  Monday|Tuesday|Wednesday|Thursday|Friday)
  echo "It is a Weekday!";;
  # Match on all weekend days
  Saturday|Sunday)
  echo "It is a Weekend!";;
  # Create a default
  *) 
  echo "Not a day!";;
esac


Dagen van de week met CASE

# Use a FOR loop for each file in 'model_out/'
for file in _____/*
do
    # Create a CASE statement for each file's contents
    case $(____ $file) in
      # Match on tree and non-tree models
      *"____"*|*GBM*|*____*)
      mv $____ ____/ ;;
      *____*|*Logistic*)
      ____ $file ;;
      # Create a default
      ____) 
      echo "Unknown model in ____" ;;
    ____
done


# Use a FOR loop for each file in 'model_out'
for file in model_out/*
do
    # Create a CASE statement for each file's contents
    case $(cat $file) in
      # Match on tree and non-tree models
      *"Random Forest"*|*GBM*|*XGBoost*)
      mv $file tree_models/ ;;
      *KNN*|*Logistic*)
      rm $file ;;
      # Create a default
      *) 
      echo "Unknown model in $file" ;;
    esac
done


Modelresultaten verplaatsen met CASE

Een CASE-instructie afsluiten

Besturingsconstructies in Bash-scripting

Geef je Bash-scripts een krachtige upgrade door handige functies te bouwen om data en variabelen te verwerken. In dit laatste hoofdstuk leer je de structuur van functies in Bash, hoe je functies inzet om terugkerende taken te automatiseren en hoe je je scripts op gezette tijden laat draaien zonder dat je ernaar om hoeft te kijken.

Basisfuncties in Bash

Modelresultaten uploaden naar de cloud

Haal de huidige dag op

Argumenten, returnwaarden en scope

Een procenten-rekenhulp

Sportanalyses-functie

Een array optellen

Je scripts inplannen met Cron

Een crontab-schema analyseren

Cronjobs maken

Cronjobs plannen met crontab

Bedankt en afronden

Functies en automatisering

New Hires

Soccer Scores

Hire Data

Model Results

Rob's Files

Model Output

Inherited Folder

Bash is een beknopte, supersnelle en robuuste scripttaal voor data- en bestandsbewerking. Het is een essentiële vaardigheid voor het bouwen van analysepijplijnen in de cloud, geliefd bij Linux-gebruikers om met data te werken die verspreid is over meerdere bestanden.

In deze cursus nemen we je stap voor stap mee door de basis van Bash-scripting. We beginnen met de structuur van Bash-scripts, inclusief het meegeven van argumenten en het tonen van resultaten. Daarna ga je aan de slag met datastructuren, zoals variabelen en arrays, en besturingsconstructies zoals lussen en voorwaarden. Tot slot pas je alles toe in de praktijk door je eigen Bash-functies te schrijven en geautomatiseerde scripts in te plannen die als een klok lopen met cron.

Introduction to Shell

Leer hoe je Bash-scripting gebruikt voor geautomatiseerde scripts en data-analyse in de cloud.

Introductie tot Bash-scripting

Met Bash-scripting kun je analytische pijplijnen in de cloud bouwen en werken met gegevens die in meerdere bestanden zijn opgeslagen.

Een CASE-instructie afsluiten

Introductie tot Bash-scripting

Interactieve oefening met praktijkervaring