Comment voir la progression de la tâche Dask Compute?

Question

Je voudrais voir une barre de progression sur Jupyternotebook pendant que j'exécute une tâche de calcul en utilisant Dask, je compte toutes les valeurs de la colonne "id" d'un grand fichier csv + 4 Go, donc des idées?

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

Answer 1

Si vous utilisez le planificateur d'une seule machine, procédez comme suit:

from dask.diagnostics import ProgressBar
ProgressBar().register()

http://dask.pydata.org/en/latest/diagnostics-local.html

Si vous utilisez le planificateur distribué, procédez comme suit:

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

Ou utilisez simplement le tableau de bord

http://dask.pydata.org/en/latest/diagnostics-distributed.html