spark有哪⼏种join

xiaozhch5 大数据

spark有哪⼏种join

回复

共1条回复 我来回复
  • 今天还想吃蛋糕
    今天还想吃蛋糕
    这个人很懒,什么都没有留下~
    评论

    Spark 中和 join 相关的算⼦有: join 、fullOuterJoin 、leftOuterJoin 、rightOuterJoin
    join
    join函数会输出两个RDD中key相同的所有项,并将它们的value联结起来,它联结的key要求在两个表中都存
    在,类似于SQL中的INNER JOIN。但它不满⾜交换律,a.join(b)与b.join(a)的结果不完全相同,值插⼊的顺序
    与调⽤关系有关。
    leftOuterJoin
    leftOuterJoin会保留对象的所有key,⽽⽤None填充在参数RDD other中缺失的值,因此调⽤顺序会使结果
    完全不同。如下⾯展示的结果,
    rightOuterJoin
    rightOuterJoin与leftOuterJoin基本⼀致,区别在于它的结果保留的是参数other这个RDD中所有的key。
    fullOuterJoin
    fullOuterJoin会保留两个RDD中所有的key,因此所有的值列都有可能出现缺失的情况,所有的值列都会转为
    Some对象。

    2个月前 0条评论