AssertionError: col doit être Column
Comment créer une nouvelle colonne dans PySpark et remplir cette colonne avec la date d'aujourd'hui?
Voici ce que j'ai essayé:
import datetime
now = datetime.datetime.now()
df = df.withColumn("date", str(now)[:10])
Je reçois cette erreur:
AssertionError: col doit être Column
Comment créer une nouvelle colonne dans PySpark et remplir cette colonne avec la date d'aujourd'hui?
Il y a déjà une fonction pour ça:
from pyspark.sql.functions import current_date
df.withColumn("date", current_date().cast("string"))
AssertionError: col doit être Column
Utiliser littéral
from pyspark.sql.functions import lit
df.withColumn("date", lit(str(now)[:10]))