hdfs
-
一面数据: Hadoop 迁移云上架构设计与实践
? 作者简介: 刘畅,一面数据运维负责人,十五年程序老兵,计算机原理、算法、编程爱好者。 李阳良,一面数据大数据部门负责人,九年互联网工作经验,对后台开发、大数据技术接触比较多。 …
-
HDFS在B站的探索和实践
上周我们介绍了大数据调度YARN在B站的落地实践(←点击回顾前文),本周哔哩哔哩技术给大家带来的是HDFS在B站的应用与展望。 一、 HDFS 架构介绍 HDFS离线存储平台是Ha…
-
Uber是如何在大规模集群中有效提高HDFS I/O利用率
以更低的硬件成本扩展我们的数据基础设施,同时保持高性能和服务可靠性并非易事。为了适应Uber数据存储和分析计算的指数级增长,数据基础设施团队通过重新架构软件层和硬件重新设计,对Ap…
-
hdfs配额管理
创建测试目录 hdfs dfs -mkdir /data/user_test 设置创建的目录的名称配额 hdfs dfsadmin setQuota 2 /data/user_te…
-
hdfs命令行基本操作指南
Hadoop包括各种shell类命令,它们直接与HDFS和Hadoop支持的其他文件系统交互。 bin/hdfs dfs -help列出了Hadoop shell支持的命令。 此外…
-
hdfs集群安装(单namenode和HA模式)
单namenode节点 准备 文件下载: jdk-8u241-linux-x64.tar.gz hadoop-3.2.0.tar.gz 节点安排: hadoop1 → 从节点 ha…