Valeur de la colonne de modification Spark Dataframe
J'ai eu un dataframe avec 170 colonnes. Dans une colonne, j'ai une chaîne "name" et cette chaîne peut parfois contenir des symboles spéciaux tels que "'" qui ne conviennent pas, lorsque je les écris à Postgres . Puis-je créer quelque chose comme ça:
Df[$'name']=Df[$'name'].map(x => x.replaceAll("'","")) ?
Je ne veux pas analyser DataFrame complet, car il est très énorme. Aidez-moi s'il vous plaît
Vous ne pouvez pas transformer de DataFrames, vous pouvez seulement les transformer en nouveaux DataFrames avec des valeurs mises à jour. Dans ce cas, vous pouvez utiliser la fonction regex_replace pour effectuer le mappage sur la colonne name:
import org.Apache.spark.sql.functions._
val updatedDf = Df.withColumn("name", regexp_replace(col("name"), ",", ""))
Tu peux le faire comme ça
df.withColumn("name", when($"name" === "'", ""))