spark on yarn 模式下的 cluster模式和 client模式有什么区别

xiaozhch5 2年前大数据

spark on yarn 模式下的 cluster模式和 client模式有什么区别

回复

共1条回复我来回复

今天还想吃蛋糕
这个人很懒，什么都没有留下～
评论

1. yarn-cluster 适⽤于⽣产环境。⽽ yarn-client 适⽤于交互和调试，也就是希望快速地看到 application 的输
出.
2. yarn-cluster 和 yarn-client 模式的区别其实就是 Application Master 进程的区别，yarn-cluster 模式下，
driver 运⾏在 AM(Application Master)中，它负责向 YARN 申请资源，并监督作业的运⾏状况。当⽤户提交
了作业之后，就可以关掉 Client，作业会继续在 YARN 上运⾏。然⽽ yarn-cluster 模式不适合运⾏交互类型
的作业。⽽ yarn-client 模式下，Application Master 仅仅向 YARN 请求 executor，Client 会和请求的
container 通信来调度他们⼯作，也就是说 Client 不能离开。

2年前 0条评论