web-dev-qa-db-fra.com

Comment CROISER JOIN 2 dataframe?

J'ai du mal à obtenir le CROSS JOIN de 2 trames de données. J'utilise spark 2.0. Comment puis-je implémenter CROSSS JOIN avec 2 trames de données.?

Éditer:

val df=df.join(df_t1, df("Col1")===df_t1("col")).join(df2,joinType=="cross join").where(df("col2")===df2("col2"))
apache-sparkapache-spark-sqlspark-dataframe
10
Miruthan

Utilisez crossJoin si aucune condition ne doit être spécifiée

Voici un extrait du code de travail:

people.crossJoin(area).show()
11
Ravish

Mettre à niveau vers la dernière version de spark-sql_2.11 version 2.1.0 et utiliser la fonction .crossJoin de Dataset

8
Nischay

Appelez join avec l'autre dataframe sans utiliser de condition de jointure.

Jetez un œil à l'exemple suivant . Étant donné la première base de données des personnes:

+---+------+-------+------+
| id|  name|   mail|idArea|
+---+------+-------+------+
|  1|  Jack|[email protected]|     1|
|  2|Valery|[email protected]|     1|
|  3|  Karl|[email protected]|     2|
|  4|  Nick|[email protected]|     2|
|  5|  Luke|[email protected]|     3|
|  6| Marek|[email protected]|     3|
+---+------+-------+------+

et deuxième base de données des zones:

+------+--------------+
|idArea|      areaName|
+------+--------------+
|     1|Amministration|
|     2|        Public|
|     3|         Store|
+------+--------------+

la jointure croisée est simplement donnée par:

val cross = people.join(area)
+---+------+-------+------+------+--------------+
| id|  name|   mail|idArea|idArea|      areaName|
+---+------+-------+------+------+--------------+
|  1|  Jack|[email protected]|     1|     1|Amministration|
|  1|  Jack|[email protected]|     1|     3|         Store|
|  1|  Jack|[email protected]|     1|     2|        Public|
|  2|Valery|[email protected]|     1|     1|Amministration|
|  2|Valery|[email protected]|     1|     3|         Store|
|  2|Valery|[email protected]|     1|     2|        Public|
|  3|  Karl|[email protected]|     2|     1|Amministration|
|  3|  Karl|[email protected]|     2|     2|        Public|
|  3|  Karl|[email protected]|     2|     3|         Store|
|  4|  Nick|[email protected]|     2|     3|         Store|
|  4|  Nick|[email protected]|     2|     2|        Public|
|  4|  Nick|[email protected]|     2|     1|Amministration|
|  5|  Luke|[email protected]|     3|     2|        Public|
|  5|  Luke|[email protected]|     3|     3|         Store|
|  5|  Luke|[email protected]|     3|     1|Amministration|
|  6| Marek|[email protected]|     3|     1|Amministration|
|  6| Marek|[email protected]|     3|     2|        Public|
|  6| Marek|[email protected]|     3|     3|         Store|
+---+------+-------+------+------+--------------+
3
pheeleeppoo