Clusters et clients
Selon votre matériel et le calcul à réaliser, il peut être plus rapide d’exécuter votre tâche avec un mélange de threads et de processus. Pour cela, vous devez configurer un cluster local.
Il existe deux façons de configurer un cluster local que Dask utilisera. La première consiste à créer le cluster local et à le transmettre à un client. C’est très proche de la façon dont vous configureriez un client pour s’exécuter sur un cluster de machines ! La seconde consiste à utiliser directement le client et à le laisser créer lui‑même le cluster local. C’est un raccourci qui fonctionne pour les clusters locaux, mais pas pour les autres types de cluster.
Dans cet exercice, vous allez créer des clients avec les deux méthodes.
Faites attention lors de la création du cluster et des clients. En cas de mauvaise configuration, votre session peut expirer.
Cet exercice fait partie du cours
Programmation parallèle avec Dask en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import Client and LocalCluster
from ____ import ____, ____
# Create a thread-based local cluster
cluster = LocalCluster(
processes=____,
n_workers=____,
threads_per_worker=____,
)
# Create a client
client = ____