Modelproductie op de command line

Vaak moeten Python-modellen, zodra ze goed werken, in productie worden gebracht en regelmatig draaien. Om tijd van de data scientist te besparen, wordt het runproces geautomatiseerd in plaats van het model elke dag handmatig uit te voeren.

Een Python-model automatiseren en in productie brengen betekent eerst alle benodigde library-afhankelijkheden installeren, vervolgens het Python-model zelf draaien en daarna een schema instellen voor hoe vaak het moet draaien. Hoewel je al deze stappen ook los kunt doen met verschillende talen en programma’s, geeft alles bundelen in command line-opdrachten meer controle en maakt het automatiseren makkelijker.

In deze afsluitende oefening ga je stap voor stap oefenen met het opzetten van een end-to-end automatiseringsproces voor een Python-script.

Deze oefening maakt deel uit van de cursus

Gegevens verwerken in de Shell

Bekijk cursus

Oefeninstructies

Gebruik pip om de Python-afhankelijkheden te installeren die in het bestand requirements.txt staan.
Nu de benodigde Python-afhankelijkheden zijn geïnstalleerd, draai je het script create_model.py via de command line.
We hebben gecontroleerd dat het Python-model kan draaien. De volgende stap is deze taak automatiseren zodat hij elke minuut draait. Gebruik CRONTAB om een per-minuut run van het Python-script create_model.py in te plannen.
Print de taak die in CRONTAB is ingepland om te controleren dat de CRON-taak correct is ingesteld.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Preview both Python script and requirements text file
cat create_model.py
cat requirements.txt

# Pip install Python dependencies in requirements file
pip install ___ ___

# Run Python script on command line
___ create_model.py

# Add CRON job that runs create_model.py every minute
echo "___ ___ create_model.py" | ___

# Verify that the CRON job has been scheduled via CRONTAB
___ ___

Code bewerken en uitvoeren