This chapter covers new Docker commands and details on how to share data between host system and containerized applications. Learn when and how to use persistent volumes and access host filesystems.

Intermediate Docker Commands

Help at a glance

Existing containers

Automatic container cleanup

Mounting the host filesystem

Passing a file to a running container

Gone, but not forgotten

Different methods, same result

Persistent volumes

Creating a container volume

Different containers, same volume

Commands and filesystems

Learn to expose networking services in Docker, create Docker networks, and use Dockerfiles to maintain network settings.

Networking refresher

What's my IP?

Valid ports

Making network services available in Docker

Mapping a port

Multiple containers, same host port?

Exposing ports with Dockerfiles

So many options

Mapping a container port

Using ephemeral mapping

Docker networks

Creating a docker network

Adding containers to a network

IP Ranges

Removing container networks

Networking

Learn to use Docker's advanced image management and build tools to create compact effective container images. Create multi-platform images capable of running on different processor architectures.

Optimizing Docker images

Contain your concerns

Docker image exploration

Determining the best image to use

Understanding layers

Layer cake

How many layers?

Multi-stage builds

Single-stage build

Multi-stage build

Understanding multi-stage builds

Multi-platform builds

Multi-platform steps

Multi-platform build

Building advanced container images

Combine the the volume, networking, and container handling capabilities of Docker into multi-container applications using Docker Compose. Update and manage application deployments via the docker-compose.yml file.

Introduction à Docker Compose

Gérer une application avec Docker Compose

Dépanner le démarrage de l’application

Créer des fichiers compose.yaml

Écrire un fichier compose.yaml

Identifier les sections

Combien de services ?

Dépendances et dépannage avec Docker Compose

Ordre de démarrage des ressources

Calcul des dépendances

Ordre d’arrêt

FROM python:3.12-alpine3.19
WORKDIR /code
RUN apk add --no-cache gcc musl-dev linux-headers
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
COPY . .
CMD ["python3", "app.py"]


import time
import redis

cache = redis.Redis(host='redis', port=6379, socket_timeout=1)

def get_hit_count():
  retries = 5
  while True:
    try:
      return cache.incr('hits')
    except redis.exceptions.ConnectionError as exc:
      if retries == 0:
        raise exc
      retries -= 1
      time.sleep(0.5)

def hello():
  count = get_hit_count()
  return f'Successfully communicated {count} times.\n'

for i in range(0, 5):
  print(f"{hello()}")


services:
  app:
    build: .
  redis:
    image: "redis:alpine3.20"
    depends_on:
      - app


services:
  app:
    build: .
    depends_on:
      - redis
  redis:
    image: "redis:alpine3.20"


# Solution Steps:
  # 1. Run `docker compose up -d` to start the services
  # 2. Use `docker compose logs` to view the startup logs and identify errors
  # 3. Examine the compose.yaml file to find the dependency issue
  # 4. Update the compose.yaml to move depends_on from redis to app service
  # 5. Run `docker compose down` to stop all services
  # 6. Rerun `docker compose up -d` and verify you see "Successfully communicated" messages

Dépannage des dépendances

Créer un service de données dans Docker

import duckdb
from flask import Flask

app = Flask(__name__)

@app.route("/tripcount")
def returndata():
  cursor = duckdb.connect()
  try:
    count = cursor.execute("select count(*) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"Total trips: {count}"
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503

@app.route("/first")
def returnfirst():
  cursor = duckdb.connect()
  try:
    first = cursor.execute("select min(tpep_pickup_datetime) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"First pickup: {first:%Y/%m/%d}" 
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503

@app.route("/last")
def returnlast():
  cursor = duckdb.connect()
  try:
    last = cursor.execute("select max(tpep_pickup_datetime) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"Last pickup: {last:%Y/%m/%d}" 
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503


FROM python:3.12-alpine3.19

#
# NOTE: Application reads contents of /data in container
# If not found, application returns errors.
# 

WORKDIR /app
ENV FLASK_RUN_HOST=0.0.0.0

COPY code/app.py .
COPY code/requirements.txt .

RUN pip install -r requirements.txt --root-user-action=ignore

EXPOSE 5000

CMD ["flask", "run"]


STATUS_CODE=$(curl --silent --head http://localhost:5000/tripcount | awk '/^HTTP/{print $2}')

if [ "$STATUS_CODE" == "503" ]; then
  echo "ERROR ACCESSING DATA SERVICE - PLEASE VERIFY DATA IS PRESENT"
  echo "Did you use a -v flag with your docker run command?"
elif [ "$STATUS_CODE" == "200" ]; then
  echo "SUCCESSFULLY ACCESSED DATA SERVICE!"
else
  echo "ERROR ACCESSING DATA SERVICE - PLEASE VERIFY SERVICE IS RUNNING"
  echo "Did you start your container with a -p flag?"
fi
  


There are several steps required to complete this exercise:

- Build the dataservice container using the following command in the terminal:

docker build . -t dataservice

- Run an instance of the Docker container as follows:

docker run -d -p5000:5000 -v ~/workspace/datasets:/data dataservice

- Verify that the service is working by running the ./app_test.sh on the terminal


Créer un backend de service de données

Ajout d’un client de données

services:
  ____:
    image: dataservice
    volumes:
      - /home/repl/datasets:/data
    networks: 
      data_net:
        ipv4_address: 10.11.12.2

  dataclient:
    image: ____
    depends_on: 
      - ____
    networks:
      data_net:
        ipv4_address: 10.11.12.3

# Ignore everything below this line
networks:
  data_net:
    driver: macvlan
    ipam:
      config:
        - subnet: "10.11.12.0/24"
    


services:
  dataservice:
    image: dataservice
    volumes:
      - /home/repl/workspace/datasets:/data
    networks: 
      data_net:
        ipv4_address: 10.11.12.2

  dataclient:
    image: dataclient
    depends_on: 
      - dataservice
    networks:
      data_net:
        ipv4_address: 10.11.12.3

# Ignore everything below this line
networks:
  data_net:
    driver: macvlan
    ipam:
      config:
        - subnet: "10.11.12.0/24"
    


- Update the compose.yaml file as shown.
- Run the following command:

  docker compose up -d
  
- Run the command:

  docker compose logs dataclient


Utiliser Docker Compose pour définir une application complète

Félicitations !

Docker Compose

Ce cours approfondit les bases de Docker et de la conteneurisation présentées dans le cours Introduction à Docker. Nous allons plus loin sur les concepts et outils abordés, en y ajoutant la gestion et l’optimisation des images de conteneurs, le réseau, la communication via le système de fichiers, ainsi que les applications multi‑plateformes et multi‑conteneurs. À la fin, vous serez en mesure de :

- Créer des builds multi‑étapes pour optimiser la taille, la sécurité et la réutilisabilité des applications conteneurisées.
- Utiliser les outils et concepts réseau de Docker pour ajouter des communications entre conteneurs et fournir des services réseau au réseau local et vers l’extérieur.
- Partager des fichiers et des données entre les conteneurs et la machine hôte à l’aide des montages de systèmes de fichiers et des volumes Docker.
- Créer des déploiements d’applications multi‑conteneurs avec Docker Compose, simplifiant drastiquement la mise en place d’outils complexes courants en data science et en ingénierie.

Ce cours sera particulièrement utile si vous avez déjà manipulé et construit quelques conteneurs simples et souhaitez étoffer votre boîte à outils de développement, de test et de distribution. Nous sommes impatients de vous accompagner dans votre progression sur Docker.

Ce cours approfondit les connaissances acquises dans le cours Introduction à Docker, en explorant plus en détail les concepts et les outils de conteneurisation. Nous aborderons des sujets avancés tels que la gestion des images de conteneurs, la mise en réseau, la communication entre systèmes de fichiers et le développement d'applications multi-plateformes et multi-conteneurs.
<h2>Optimisation des applications conteneurisées</h2>
Apprenez à créer des builds en plusieurs étapes afin d'améliorer la taille, la sécurité et la réutilisabilité des applications conteneurisées. Grâce à des exercices pratiques, maîtrisez les techniques permettant d'optimiser les images de conteneurs, garantissant ainsi un déploiement et une gestion efficaces dans divers environnements.
<h2>Améliorer les déploiements de conteneurs avec Docker Compose</h2>
Découvrez comment exploiter les outils et concepts de mise en réseau Docker pour faciliter la communication entre conteneurs et fournir des services de mise en réseau aux réseaux locaux et externes. Découvrez les montages et les volumes du système de fichiers pour un partage transparent des données entre les conteneurs et la machine hôte. De plus, acquérez des compétences dans l'utilisation de Docker Compose pour orchestrer le déploiement d'applications multi-conteneurs, simplifiant ainsi la configuration d'outils complexes couramment utilisés dans les environnements de science des données et d'ingénierie.
<h2>Développement et déploiement proactifs</h2>
Ce cours vous fournit les compétences essentielles pour améliorer vos processus de développement, de test et de distribution. Bien que cela ne soit pas indispensable, vous tirerez le meilleur parti de ce cours si vous avez déjà travaillé avec des conteneurs et en avez créé quelques-uns simples. À la fin de ce cours, vous disposerez des connaissances et des outils nécessaires pour optimiser les applications conteneurisées, rationaliser la communication entre les conteneurs et déployer facilement des applications multi-conteneurs, ce qui vous permettra de progresser dans votre apprentissage de Docker.

Introduction to Docker

Maîtrisez les builds multi-étapes, les outils réseau Docker et Docker Compose pour des applications optimales !

Docker : niveau intermédiaire

Maîtrisez les multi-stage builds, les outils de mise en réseau Docker et Docker Compose pour optimiser vos applications conteneurisées.

Utiliser Docker Compose pour définir une application complète

Exercice interactif pratique