hadoop
-
万字长文 | 理想汽车从 Hadoop 到云原生的演进与思考
?云原生架构下，基于 Hadoop 技术栈搭建数据平台应该如何改造？ 理想汽车大数据平台涉及的组件多， 在从 Hadoop 到云原生演进的过程中边探索，边实践，积累了不少一手经验；…
-
大规模 Hadoop 升级在 Pinterest 的实践
Monarch 是 Pinterest 的批处理平台，由30多个 Hadoop YARN 集群组成，其中17k+节点完全建立在 AWS EC2 之上。2021年初，Monarch …
-
尚硅谷大数据技术之集群迁移（Apache和CDH）
1）准备两套集群，我这使用apache集群和CDH集群。 2）启动集群 3）启动完毕后，将apache集群中，hive库里dwd，dws，ads三个库的数据迁移到CDH集群 4）在…
-
尚硅谷大数据技术之Hadoop生产调优手册
（作者：尚硅谷大数据研发部） 版本：V3.3 电脑端阅读地址：https://lrting.top/backend/4245/ 第1章 HDFS—核心参数 1.1 NameNode…
-
LinkedIn 如何将 Hadoop YARN 集群扩展到超过 10,000 个节点
在 LinkedIn，我们使用 Hadoop 作为大数据分析和机器学习的支柱。 随着数据量呈指数级增长，并且公司在机器学习和数据科学方面进行了大量投资，我们的集群规模逐年翻了一番，…
-
Uber如何构建经济高效的开源大数据平台
随着 Uber 业务的扩张，为其提供支持的基础数据池呈指数级增长，因此处理成本也越来越高。 当大数据成为我们最大的运营支出之一时，我们开始了一项降低数据平台成本的举措，该计划将挑战…
-
Uber是如何在大规模集群中有效提高HDFS I/O利用率
以更低的硬件成本扩展我们的数据基础设施，同时保持高性能和服务可靠性并非易事。为了适应Uber数据存储和分析计算的指数级增长，数据基础设施团队通过重新架构软件层和硬件重新设计，对Ap…
-
hdfs命令行基本操作指南
Hadoop包括各种shell类命令，它们直接与HDFS和Hadoop支持的其他文件系统交互。 bin/hdfs dfs -help列出了Hadoop shell支持的命令。 此外…
-
hdfs集群安装（单namenode和HA模式）
单namenode节点 准备 文件下载： jdk-8u241-linux-x64.tar.gz hadoop-3.2.0.tar.gz 节点安排： hadoop1 → 从节点 ha…
-
hadoop基本介绍
概览 Apache™Hadoop®项目开发可靠、可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群进行分布式处理大型数据…
