web-dev-qa-db-fra.com

Spark 1.6: supprimer la colonne dans DataFrame avec les noms de colonne échappés

J'essaie de déposer une colonne dans un DataFrame, mais j'ai des noms de colonne avec des points, que j'ai échappés.

Avant de m'échapper, mon schéma ressemble à ceci:

root
 |-- user_id: long (nullable = true)
 |-- hourOfWeek: string (nullable = true)
 |-- observed: string (nullable = true)
 |-- raw.hourOfDay: long (nullable = true)
 |-- raw.minOfDay: long (nullable = true)
 |-- raw.dayOfWeek: long (nullable = true)
 |-- raw.sensor2: long (nullable = true)

Si j'essaie de supprimer une colonne, j'obtiens:

df = df.drop("hourOfWeek")
org.Apache.spark.sql.AnalysisException: cannot resolve 'raw.hourOfDay' given input columns raw.dayOfWeek, raw.sensor2, observed, raw.hourOfDay, hourOfWeek, raw.minOfDay, user_id;
        at org.Apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
        at org.Apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:60)
        at org.Apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:57)
        at org.Apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:319)
        at org.Apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:319)
        at org.Apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:53)

Notez que je n'essaie même pas de déposer sur les colonnes avec des points dans le nom. Comme je ne pouvais pas faire grand-chose sans échapper aux noms de colonne, j'ai converti le schéma en:

root
 |-- user_id: long (nullable = true)
 |-- hourOfWeek: string (nullable = true)
 |-- observed: string (nullable = true)
 |-- `raw.hourOfDay`: long (nullable = true)
 |-- `raw.minOfDay`: long (nullable = true)
 |-- `raw.dayOfWeek`: long (nullable = true)
 |-- `raw.sensor2`: long (nullable = true)

mais cela ne semble pas aider. Je reçois toujours la même erreur.

J'ai essayé d'échapper à tous les noms de colonnes et de supprimer le nom d'échappement, mais cela ne fonctionne pas non plus.

root
 |-- `user_id`: long (nullable = true)
 |-- `hourOfWeek`: string (nullable = true)
 |-- `observed`: string (nullable = true)
 |-- `raw.hourOfDay`: long (nullable = true)
 |-- `raw.minOfDay`: long (nullable = true)
 |-- `raw.dayOfWeek`: long (nullable = true)
 |-- `raw.sensor2`: long (nullable = true)

df.drop("`hourOfWeek`")
org.Apache.spark.sql.AnalysisException: cannot resolve 'user_id' given input columns `user_id`, `raw.dayOfWeek`, `observed`, `raw.minOfDay`, `raw.hourOfDay`, `raw.sensor2`, `hourOfWeek`;
        at org.Apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
        at org.Apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:60)

Existe-t-il un autre moyen de supprimer une colonne qui n'échouerait pas sur ce type de données?

scalaapache-spark
12
MrE

D'accord, je semble avoir trouvé la solution après tout:

df.drop(df.col("raw.hourOfWeek")) semble fonctionner

24
MrE
val data = df.drop("Customers");

fonctionnera bien pour les colonnes normales

val new = df.drop(df.col("old.column"));
3
sai chaithanya