web-dev-qa-db-fra.com

Comment ajouter un fichier csv en utilisant df.write.csv dans pyspark?

J'essaie d'ajouter des données à mon fichier csv à l'aide de df.write.csv. Voici ce que j'ai fait après le document spark http://spark.Apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter :

from pyspark.sql import DataFrameWriter
.....
df1 = sqlContext.createDataFrame(query1)
df1.write.csv("/opt/Output/sqlcsvA.csv", append) #also tried 'mode=append'

L'exécution du code ci-dessus me donne une erreur:

NameError: nom 'append' non défini

Sans append, erreur: 

Le chemin existe déjà.

4
kaks
df.write.save(path='csv', format='csv', mode='append', sep='\t')
5
Zhang Tong

Je ne parle pas de Python, mais en Scala et Java, on peut définir le mode de sauvegarde de la manière suivante:

df.write.mode("append").csv("pathToFile")

Je suppose que cela devrait être similaire en Python. Ceci peut être utile. 

0
Anton Okolnychyi