Je sais, la jointure entre deux flux n'est pas encore prise en charge. Mais il y a quand même un moyen de le faire? Ou dois-je attendre Spark 2.2.0? Je vous remercie

5
Aniello Guarino 20 avril 2017 à 10:23

3 réponses

Meilleure réponse

Spark 2.2.0 ne prend toujours pas en charge la jointure stream-stream. Vous pouvez regarder ce billet: https://issues.apache.org/jira/browse/ SPARK-18791

4
zsxwing 20 avril 2017 à 18:16

Je vous recommande d'utiliser Kafka Streams plutôt que Structured Spark Streaming si vous souhaitez rejoindre des flux. consultez ce lien pour voir comment cela peut être fait

-2
Gilles Essoki 19 mai 2017 à 10:50

Depuis la version de production de Spark 2.3, les jointures stream-stream sont désormais prises en charge en streaming structuré.

1
rhoeting 4 mars 2018 à 22:20