web-dev-qa-db-fra.com

Comment changer la casse de la colonne entière en minuscule?

Je souhaite modifier la casse de la colonne entière en minuscules dans Spark Dataset

        Desired Input
        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|BRUSH & BROOM HAN...|
        |   XYZ|WHEEL BRUSH PARTS...|
        +------+--------------------+

        Desired Output
        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|brush & broom han...|
        |   XYZ|wheel brush parts...|
        +------+--------------------+

J'ai essayé avec collectAsList () et toString (), qui est une procédure lente et complexe pour un très grand ensemble de données.

J'ai également trouvé une méthode "inférieure", mais je n'ai pas réussi à la faire fonctionner dans dasaset. Veuillez me suggérer un moyen simple ou efficace de faire ce qui précède. Merci d'avance

apache-sparkapache-spark-sqlspark-dataframeapache-spark-dataset
13
Shreeharsha

J'ai compris (utilisez Functions#lower, voir Javadoc )

import org.Apache.spark.sql.functions.lower

        String columnName="Category name";
        src=src.withColumn(columnName, lower(col(columnName)));
        src.show();

Cette ancienne colonne a été remplacée par une nouvelle en conservant l'ensemble de données.

        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|brush & broom han...|
        |   XYZ|wheel brush parts...|
        +------+--------------------+
20
Shreeharsha

Utilisez la fonction lower de org.Apache.spark.sql.functions

Par exemple:

df.select($"q1Content", lower($"q1Content")).show

Le résultat.

+--------------------+--------------------+
|           q1Content|    lower(q1Content)|
+--------------------+--------------------+
|What is the step ...|what is the step ...|
|What is the story...|what is the story...|
|How can I increas...|how can i increas...|
|Why am I mentally...|why am i mentally...|
|Which one dissolv...|which one dissolv...|
|Astrology: I am a...|astrology: i am a...|
| Should I buy tiago?| should i buy tiago?|
|How can I be a go...|how can i be a go...|
|When do you use  ...|when do you use  ...|
|Motorola (company...|Motorola (company...|
|Method to find se...|method to find se...|
|How do I read and...|how do i read and...|
|What can make Phy...|what can make phy...|
|What was your fir...|what was your fir...|
|What are the laws...|what are the laws...|
|What would a Trum...|what would a trum...|
|What does manipul...|what does manipul...|
|Why do girls want...|why do girls want...|
|Why are so many Q...|why are so many q...|
|Which is the best...|which is the best...|
+--------------------+--------------------+
14
Alberto Bonsanto