spark on yarn 模式下的 cluster模式和 client模式有什么 区别

spark on yarn 模式下的 cluster模式和 client模式有什么区别

回复

共1条回复 我来回复
  • 今天还想吃蛋糕
    今天还想吃蛋糕
    这个人很懒,什么都没有留下~
    评论

    1. yarn-cluster 适⽤于⽣产环境。⽽ yarn-client 适⽤于交互和调试,也就是希望快速地看到 application 的输
    出.
    2. yarn-cluster 和 yarn-client 模式的区别其实就是 Application Master 进程的区别,yarn-cluster 模式下,
    driver 运⾏在 AM(Application Master)中,它负责向 YARN 申请资源,并监督作业的运⾏状况。当⽤户提交
    了作业之后,就可以关掉 Client,作业会继续在 YARN 上运⾏。然⽽ yarn-cluster 模式不适合运⾏交互类型
    的作业。⽽ yarn-client 模式下,Application Master 仅仅向 YARN 请求 executor,Client 会和请求的
    container 通信来调度他们⼯作,也就是说 Client 不能离开。

    2年前 0条评论