This chapter covers new Docker commands and details on how to share data between host system and containerized applications. Learn when and how to use persistent volumes and access host filesystems.

Intermediate Docker Commands

Help at a glance

Existing containers

Automatic container cleanup

Mounting the host filesystem

Passing a file to a running container

Gone, but not forgotten

Different methods, same result

Persistent volumes

Creating a container volume

Different containers, same volume

Commands and filesystems

Learn to expose networking services in Docker, create Docker networks, and use Dockerfiles to maintain network settings.

Networking refresher

What's my IP?

Valid ports

Making network services available in Docker

Mapping a port

Multiple containers, same host port?

Exposing ports with Dockerfiles

So many options

Mapping a container port

Using ephemeral mapping

Docker networks

Creating a docker network

Adding containers to a network

IP Ranges

Removing container networks

Networking

Learn to use Docker's advanced image management and build tools to create compact effective container images. Create multi-platform images capable of running on different processor architectures.

Optimizing Docker images

Contain your concerns

Docker image exploration

Determining the best image to use

Understanding layers

Layer cake

How many layers?

Multi-stage builds

Single-stage build

Multi-stage build

Understanding multi-stage builds

Multi-platform builds

Multi-platform steps

Multi-platform build

Building advanced container images

Combine the the volume, networking, and container handling capabilities of Docker into multi-container applications using Docker Compose. Update and manage application deployments via the docker-compose.yml file.

Einführung in Docker Compose

Eine Anwendung mit Docker Compose verwalten

Probleme beim Starten der Anwendung beheben

compose.yaml-Dateien erstellen

Eine compose.yaml-Datei schreiben

Abschnitte erkennen

Wie viele Ressourcen?

Abhängigkeiten und Troubleshooting in Docker Compose

Startreihenfolge der Ressourcen

Abhängigkeitsberechnung

Abschaltreihenfolge

FROM python:3.12-alpine3.19
WORKDIR /code
RUN apk add --no-cache gcc musl-dev linux-headers
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
COPY . .
CMD ["python3", "app.py"]


import time
import redis

cache = redis.Redis(host='redis', port=6379, socket_timeout=1)

def get_hit_count():
  retries = 5
  while True:
    try:
      return cache.incr('hits')
    except redis.exceptions.ConnectionError as exc:
      if retries == 0:
        raise exc
      retries -= 1
      time.sleep(0.5)

def hello():
  count = get_hit_count()
  return f'Successfully communicated {count} times.\n'

for i in range(0, 5):
  print(f"{hello()}")


services:
  app:
    build: .
  redis:
    image: "redis:alpine3.20"
    depends_on:
      - app


services:
  app:
    build: .
    depends_on:
      - redis
  redis:
    image: "redis:alpine3.20"


# Solution Steps:
  # 1. Run `docker compose up -d` to start the services
  # 2. Use `docker compose logs` to view the startup logs and identify errors
  # 3. Examine the compose.yaml file to find the dependency issue
  # 4. Update the compose.yaml to move depends_on from redis to app service
  # 5. Run `docker compose down` to stop all services
  # 6. Rerun `docker compose up -d` and verify you see "Successfully communicated" messages

Probleme mit Abhängigkeiten beheben

Einen Datenservice in Docker erstellen

import duckdb
from flask import Flask

app = Flask(__name__)

@app.route("/tripcount")
def returndata():
  cursor = duckdb.connect()
  try:
    count = cursor.execute("select count(*) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"Total trips: {count}"
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503

@app.route("/first")
def returnfirst():
  cursor = duckdb.connect()
  try:
    first = cursor.execute("select min(tpep_pickup_datetime) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"First pickup: {first:%Y/%m/%d}" 
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503

@app.route("/last")
def returnlast():
  cursor = duckdb.connect()
  try:
    last = cursor.execute("select max(tpep_pickup_datetime) from read_parquet('/data/*.parquet')").fetchall()[0][0]
    return f"Last pickup: {last:%Y/%m/%d}" 
  except duckdb.duckdb.IOException:
    return f"Data files are not present", 503


FROM python:3.12-alpine3.19

#
# NOTE: Application reads contents of /data in container
# If not found, application returns errors.
# 

WORKDIR /app
ENV FLASK_RUN_HOST=0.0.0.0

COPY code/app.py .
COPY code/requirements.txt .

RUN pip install -r requirements.txt --root-user-action=ignore

EXPOSE 5000

CMD ["flask", "run"]


STATUS_CODE=$(curl --silent --head http://localhost:5000/tripcount | awk '/^HTTP/{print $2}')

if [ "$STATUS_CODE" == "503" ]; then
  echo "ERROR ACCESSING DATA SERVICE - PLEASE VERIFY DATA IS PRESENT"
  echo "Did you use a -v flag with your docker run command?"
elif [ "$STATUS_CODE" == "200" ]; then
  echo "SUCCESSFULLY ACCESSED DATA SERVICE!"
else
  echo "ERROR ACCESSING DATA SERVICE - PLEASE VERIFY SERVICE IS RUNNING"
  echo "Did you start your container with a -p flag?"
fi
  


There are several steps required to complete this exercise:

- Build the dataservice container using the following command in the terminal:

docker build . -t dataservice

- Run an instance of the Docker container as follows:

docker run -d -p5000:5000 -v ~/workspace/datasets:/data dataservice

- Verify that the service is working by running the ./app_test.sh on the terminal


Ein Backend für einen Datenservice erstellen

Einen Daten-Client hinzufügen

services:
  ____:
    image: dataservice
    volumes:
      - /home/repl/datasets:/data
    networks: 
      data_net:
        ipv4_address: 10.11.12.2

  dataclient:
    image: ____
    depends_on: 
      - ____
    networks:
      data_net:
        ipv4_address: 10.11.12.3

# Ignore everything below this line
networks:
  data_net:
    driver: macvlan
    ipam:
      config:
        - subnet: "10.11.12.0/24"
    


services:
  dataservice:
    image: dataservice
    volumes:
      - /home/repl/workspace/datasets:/data
    networks: 
      data_net:
        ipv4_address: 10.11.12.2

  dataclient:
    image: dataclient
    depends_on: 
      - dataservice
    networks:
      data_net:
        ipv4_address: 10.11.12.3

# Ignore everything below this line
networks:
  data_net:
    driver: macvlan
    ipam:
      config:
        - subnet: "10.11.12.0/24"
    


- Update the compose.yaml file as shown.
- Run the following command:

  docker compose up -d
  
- Run the command:

  docker compose logs dataclient


Mit Docker Compose eine komplette Anwendung definieren

Glückwunsch!

Docker Compose

Dieser Kurs baut auf den Grundlagen aus „Introduction to Docker“ auf. Wir vertiefen die dort behandelten Konzepte und Tools und fügen Themen wie Verwaltung und Optimierung von Container-Images, Networking, Dateisystem-Kommunikation sowie Multi-Plattform- und Multi-Container-Anwendungen hinzu. Am Ende wirst du in der Lage sein:

- Multi-Stage-Builds zu erstellen, um Größe, Sicherheit und Wiederverwendbarkeit containerisierter Anwendungen zu optimieren.
- Docker-Networking-Konzepte und -Tools zu nutzen, um die Kommunikation zwischen Containern zu ermöglichen und Netzwerkdienste im lokalen Netzwerk und nach außen bereitzustellen.
- Dateien und Daten zwischen Containern und dem Host-Rechner über Docker-Dateisystem-Mounts und Volumes zu teilen.
- Bereitstellungen mit mehreren Containern mithilfe von Docker Compose zu erstellen und so die Einrichtung komplexer Tools, wie sie in Data-Science- und Engineering-Umgebungen üblich sind, drastisch zu vereinfachen.

Du profitierst am meisten von diesem Kurs, wenn du bereits mit einfachen Containern gearbeitet und einige gebaut hast und nun deine Werkzeuge für Entwicklung, Test und Distribution erweitern möchtest. Wir freuen uns darauf, dich auf deinem Weg mit Docker zu begleiten.

Dieser Kurs baut auf dem Wissen aus dem Kurs „Einführung in Docker“ auf und geht tiefer auf Containerisierungskonzepte und -tools ein. Wir schauen uns fortgeschrittene Themen an, wie Container-Image-Management, Netzwerke, Dateisystemkommunikation und die Entwicklung von Multi-Plattform- und Multi-Container-Anwendungen.
<h2>Containerisierte Anwendungen optimieren</h2>
Lerne, mehrstufige Builds zu erstellen, um die Größe, Sicherheit und Wiederverwendbarkeit von containerisierten Anwendungen zu verbessern. Lerne durch praktische Übungen, wie du Container-Images optimierst, damit sie in verschiedenen Umgebungen effizient eingesetzt und verwaltet werden können.
<h2>Container-Bereitstellungen mit Docker Compose verbessern</h2>
Finde heraus, wie du Docker-Netzwerktools und -Konzepte nutzen kannst, um die Kommunikation zwischen Containern zu vereinfachen und Netzwerkdienste sowohl für lokale als auch für externe Netzwerke bereitzustellen. Schau dir Dateisystem-Mounts und Volumes an, um Daten zwischen Containern und dem Host-Rechner einfach auszutauschen. Lerne außerdem, wie man Docker Compose für die Orchestrierung von Multi-Container-Anwendungsbereitstellungen einsetzt, um die Einrichtung komplexer Tools zu vereinfachen, die in Datenwissenschafts- und Engineering-Umgebungen weit verbreitet sind.
<h2>Proaktive Entwicklung und Bereitstellung</h2>
Dieser Kurs gibt dir die wichtigsten Fähigkeiten, um deine Entwicklungs-, Test- und Vertriebsprozesse zu verbessern. Auch wenn es nicht unbedingt nötig ist, wirst du am meisten von diesem Kurs profitieren, wenn du schon mal mit einfachen Containern gearbeitet und welche gebaut hast. Am Ende des Kurses hast du das Wissen und die Tools, um containerisierte Anwendungen zu optimieren, die Kommunikation zwischen Containern zu vereinfachen und Multi-Container-Anwendungen einfach bereitzustellen, was dir auf deiner Docker-Lernreise hilft.

Introduction to Docker

Beherrsche Multi-Stage-Builds, Docker-Netzwerk-Tools und Docker Compose für optimale Container-Anwendungen!

Docker für Fortgeschrittene

Hier vertiefst du Multi-Stage-Builds, Docker-Netzwerktools und Docker Compose für optimal containerisierte Anwendungen.

Probleme beim Starten der Anwendung beheben

Interaktive praktische Übung