Je suis nouveau chez Spark et mapreduce. Je veux demander de l'aide. Y a-t-il une manière élégante de faire comme ci-dessous. Comme j'ai une trame de données A. Ensuite, je veux avoir la trame de données R dont ses enregistrements sont fusionnés par des clés spécifiques entre la trame de données A et la nouvelle trame de données B avec une condition comme A's record.createdTime

0
Trung Hiếu Trần 4 nov. 2019 à 03:38

1 réponse

Vous pouvez utiliser join sur DataFrame pour obtenir le résultat souhaité

En Python

dfA.join(dfB, (dfA.key == dfB.key) & (dfA.createdTime < dfB.createdTime) ).show()

Vous pouvez également suivre vieille question

0
Naga 4 nov. 2019 à 04:11