yarn
-
YARN—容量调度器
了解 YARN的容量调度器的基本功能通常是在各种部署中需要处理的一个概念。虽然容量管理涉及共享、扣款和预测等许多方面，但本博客的重点将放在可供平台操作使用的主要功能上。除了基本功能…
-
如何在100个节点集群上模拟10000个节点的集群？让DynoYARN来模拟吧
DynoYARN 是一种用于按需启动 YARN 集群并运行模拟 YARN 工作负载以进行规模测试的工具。由Linkedin开源。它可以在 100 个节点的 Hadoop 集群上模拟…
-
LinkedIn 如何将 Hadoop YARN 集群扩展到超过 10,000 个节点
在 LinkedIn，我们使用 Hadoop 作为大数据分析和机器学习的支柱。 随着数据量呈指数级增长，并且公司在机器学习和数据科学方面进行了大量投资，我们的集群规模逐年翻了一番，…
-
Uber是如何在大规模集群中有效提高HDFS I/O利用率
以更低的硬件成本扩展我们的数据基础设施，同时保持高性能和服务可靠性并非易事。为了适应Uber数据存储和分析计算的指数级增长，数据基础设施团队通过重新架构软件层和硬件重新设计，对Ap…
