Comment exécuter un script dans PySpark
J'essaie de lancer un script dans l'environnement pyspark mais je n'y suis pas encore parvenu. Comment puis-je exécuter un script comme python script.py mais dans pyspark? Merci
Tu peux faire: ./bin/spark-submit mypythonfile.py
L'exécution des applications python via pyspark n'est pas prise en charge à compter du Spark 2.0.
pyspark 2.0 et versions ultérieures exécutent le fichier de script dans la variable d’environnement PYTHONSTARTUP, afin que vous puissiez exécuter:
PYTHONSTARTUP=code.py pyspark
Par rapport à spark-submit réponse Ceci est utile pour exécuter le code d'initialisation avant d'utiliser le shell interactif pyspark.
Juste spark-submit mypythonfile.py devrait suffire.