Alluxio
-
Alluxio权限体系
该文档介绍Alluxio安全性相关的的功能。 身份验证: 如果alluxio.security.authentication.type=SIMPLE(默认情况下), Alluxio…
-
Alluxio性能调优
本文档介绍了各种调优 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单: 所有节点都在工作吗? 检查 Alluxio 集群是否健康。 您可…
-
Alluxio监控系统
指标提供了对集群中正在发生的事情的洞察力。 它们是用于监视和调试的宝贵资源。 Alluxio 有一个基于 Coda Hale 指标库的可配置指标系统。 在度量系统中,源生成度量,汇…
-
【Shopee】大数据存储加速与服务化在Shopee的实践
本次分享主要包括四个方面: 存储现状 存储加速 存储服务化 未来规划 存储现状 1 存储结构:目前虾皮的存储结构从上到下主要分为存储层、调度层、计算引擎层和平台管理层。 2 存储规…
-
大咖分享 | 如何构建 Alluxio 审计日志分析系统
(本文作者) 大数据技术日新月异,数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化,究其根本依然是如何能够将数据规整起来,以统一的规范对数据的脉络进行梳…
-
使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务
概要速览 美国艺电 (EA) 是游戏行业的翘楚,每年为全球几十亿用户提供数十款游戏。能否针对EA的在线服务做出近实时决策对于业务发展至关重要。本文介绍了在AWS上搭建的基于Pres…
-
Shuttle + Alluxio 加速内存Shuffle起飞
00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文章[2]中详细介绍了Shuttle的架构和设…
-
刘嘉承:从设计、实现和优化角度浅谈Alluxio元数据同步
分享嘉宾:刘嘉承 Alluxio 核心组研发工程师 编辑整理:曾新宇 对外经贸大学 出品平台:DataFunTalk 导读:今天分享的题目是Alluxio元数据和数据的同步,从设计…
-
Meta公司内部项目-RaptorX:将Presto性能提升10倍
概要速览 RaptorX是Meta(前“Facebook公司”,下文统称“Meta”)公司的一个内部项目名称,目的是为了降低查询延迟,让Presto的查询性能大大超越原生(vani…
-
Alluxio 2.8版本重磅发布!3大提升抢先打开数据新世界
Alluxio导读 全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。 2.8版本增强了对AWS S3 REST API的接口支持;…
-
Meta(Facebook): 基于Alluxio Shadow Cache优化Presto架构决策
动机与背景 Facebook Presto是一个以SQL语言作为接口的分布式实时查询引擎,可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询、聚合、JO…
-
在 Presto 中使用一致散列来改善Alluxio动态集群中的缓存数据局部性
使用 Alluxio 运行 Presto 在社区中越来越受欢迎。 它通过利用 SSD 或内存缓存靠近 Presto 工作人员的热数据集,避免了从远程存储读取数据的长时间延迟。 Pr…
-
10 分钟搞定 Prometheus 和 Grafana 搭建 Alluxio 监控系统
总览 Alluxio 提供了一个全面的指标系统来监控 Alluxio 的 master、worker 和 client 的状态。 Alluxio 的指标系统支持各种指标,例如 嵌入…
-
Apache顶级项目Ranger和Alluxio的最佳实践(附教程)
介绍 Alluxio让计算引擎实现在任何云环境中的数据编排。Alluxio统一了本地和跨云环境下的数据孤岛,实现数据本地性、可访问性和弹性,从而降低大数据和人工智能/机器学习(AI…
-
Presto+Alluxio概览-如何实现交互式查询的架构创新
本文PC端地址:https://lrting.top/backend/4155 Presto(PrestoDB和Trino)是非常流行的多个数据源上运行大规模交互式分析查询的计算引…
-
使用 Alluxio 提高 HDFS 集群的性能和一致性
Alluxio 是世界上第一个内存速度的虚拟分布式存储系统,它连接了应用程序和底层存储系统,提供比现有解决方案快几个数量级的统一数据访问。 Hadoop分布式文件系统(HDFS)是…