spark有哪⼏种join

xiaozhch5 2年前大数据

spark有哪⼏种join

回复

共1条回复我来回复

今天还想吃蛋糕
这个人很懒，什么都没有留下～
评论

Spark 中和 join 相关的算⼦有： join 、fullOuterJoin 、leftOuterJoin 、rightOuterJoin
join
join函数会输出两个RDD中key相同的所有项，并将它们的value联结起来，它联结的key要求在两个表中都存
在，类似于SQL中的INNER JOIN。但它不满⾜交换律，a.join(b)与b.join(a)的结果不完全相同，值插⼊的顺序
与调⽤关系有关。
leftOuterJoin
leftOuterJoin会保留对象的所有key，⽽⽤None填充在参数RDD other中缺失的值，因此调⽤顺序会使结果
完全不同。如下⾯展示的结果，
rightOuterJoin
rightOuterJoin与leftOuterJoin基本⼀致，区别在于它的结果保留的是参数other这个RDD中所有的key。
fullOuterJoin
fullOuterJoin会保留两个RDD中所有的key，因此所有的值列都有可能出现缺失的情况，所有的值列都会转为
Some对象。

2年前 0条评论