alluxio
-
Shuttle + Alluxio 加速内存Shuffle起飞
00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文章[2]中详细介绍了Shuttle的架构和设…
-
刘嘉承:从设计、实现和优化角度浅谈Alluxio元数据同步
分享嘉宾:刘嘉承 Alluxio 核心组研发工程师 编辑整理:曾新宇 对外经贸大学 出品平台:DataFunTalk 导读:今天分享的题目是Alluxio元数据和数据的同步,从设计…
-
Meta公司内部项目-RaptorX:将Presto性能提升10倍
概要速览 RaptorX是Meta(前“Facebook公司”,下文统称“Meta”)公司的一个内部项目名称,目的是为了降低查询延迟,让Presto的查询性能大大超越原生(vani…
-
Alluxio 2.8版本重磅发布!3大提升抢先打开数据新世界
Alluxio导读 全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。 2.8版本增强了对AWS S3 REST API的接口支持;…
-
Meta(Facebook): 基于Alluxio Shadow Cache优化Presto架构决策
动机与背景 Facebook Presto是一个以SQL语言作为接口的分布式实时查询引擎,可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询、聚合、JO…
-
在 Presto 中使用一致散列来改善Alluxio动态集群中的缓存数据局部性
使用 Alluxio 运行 Presto 在社区中越来越受欢迎。 它通过利用 SSD 或内存缓存靠近 Presto 工作人员的热数据集,避免了从远程存储读取数据的长时间延迟。 Pr…
-
10 分钟搞定 Prometheus 和 Grafana 搭建 Alluxio 监控系统
总览 Alluxio 提供了一个全面的指标系统来监控 Alluxio 的 master、worker 和 client 的状态。 Alluxio 的指标系统支持各种指标,例如 嵌入…
-
Apache顶级项目Ranger和Alluxio的最佳实践(附教程)
介绍 Alluxio让计算引擎实现在任何云环境中的数据编排。Alluxio统一了本地和跨云环境下的数据孤岛,实现数据本地性、可访问性和弹性,从而降低大数据和人工智能/机器学习(AI…
-
Presto+Alluxio概览-如何实现交互式查询的架构创新
本文PC端地址:https://lrting.top/backend/4155 Presto(PrestoDB和Trino)是非常流行的多个数据源上运行大规模交互式分析查询的计算引…
-
使用 Alluxio 提高 HDFS 集群的性能和一致性
Alluxio 是世界上第一个内存速度的虚拟分布式存储系统,它连接了应用程序和底层存储系统,提供比现有解决方案快几个数量级的统一数据访问。 Hadoop分布式文件系统(HDFS)是…