web-dev-qa-db-fra.com

Exécuter python dans Azure DataFactory

J'ai mes données stockées dans des objets blobs et j'ai écrit un script python pour effectuer des calculs et créer un autre csv. Comment puis-je exécuter cela dans Azure Data Factory?

azureazure-storageazure-data-factory
4
Mighty

Puissant. Vous pouvez utiliser activité personnalisée Azure Data Factory V2 pour vos besoins. Vous pouvez exécuter directement une commande pour appeler le script python en utilisant une activité personnalisée.

Veuillez vous référer à ceci exemple sur le github.

J'espère que cela vous aide.

7
Jay Gong

Une autre option consiste à utiliser une activité DatabricksSparkPython. Cela a du sens si vous souhaitez évoluer, mais pourrait nécessiter des modifications de code pour la prise en charge de PySpark. La condition préalable de la cause est un espace de travail Azure Databricks. Vous devez télécharger votre script sur DBFS et pouvez le déclencher via Azure Data Factory. L'exemple suivant déclenche le script pi.py:

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksSparkPython",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
             "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "pythonFile": "dbfs:/docs/pi.py",
            "parameters": [
                "10"
            ],
            "libraries": [
                {
                    "pypi": {
                        "package": "tensorflow"
                    }
                }
            ]
        }
    }
}

Voir Documentation pour plus de détails.

4
Hauke Mallow