后端

本文介绍了如何快速安装与配置单机版Apahe Doris环境。 新建目录与安装包下载： mkdir /data && cd /data wget https://d…

 8 月 14 号，由示说网和上海白玉兰开源开放研究院联合举办的开源大数据技术线上 Meetup 如期举行，Apache Doris 社区受邀参与本次 Meetup ，来自百度的数…

1.概述 Apache Doris（原百度 Palo ）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache …

 6月 26 号，由示说网主办，上海白玉兰开源开放研究院、云启资本、开源社联合主办的上海开源大数据技术 Meetup 如期举行。Apache Doris 社区受邀参与本次 Meet…

在我的前两篇博客中： •Istio 中的 Sidecar 注入、透明流量劫持及流量路由过程详解 [1]•Sidecar 中的流量类型及 iptables 规则详解 [2] 我向你详…

Part1 介绍 现代GPU集群旨在支持多个租户(multi-tenancy) 的分布式深度学习任务，我们发现每个租户对资源的需求可能随着时间而动态改变。但是，现有的GPU调度器未…

本文介绍Safari学习框架（入围IEEE/ACM ICCPS 2022最佳论文候选者），一种基于物理模型的安全强化学习机制进行数据中心制冷系统的控制优化。 Part1 引言 深度…

摘要 · 看点 在 ACMMM 2021 上，我们提出了联邦无监督行人重识别系统 FedUReID，在不需要标签、不因汇聚数据而产生隐私问题的前提下，采用分布式联邦学习的方式（一个…

时序预测算法在电商场景中有着大量的应用场景，基于严选的实际业务需求，我们开发沉淀了一套时序预测算法系统，实现了“数据-模型-服务”的完整链路，并落地于网易严选的补货、调拨、投放、搜…

本文分享一篇阿里巴巴大淘宝技术与上海交通大学图像通信与网络工程研究所（简称图像所）合作论文《AdaInt:Learning Adaptive Intervals for 3D Lo…

1. Apache Hudi 0.11.0 新功能简介：多级索引 Multi-Modal Index 2. Spark SQL 新功能与 Flink 集成改进 3. 快速浏览其他功…

背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好…

Red Hat OpenShift Container Platform(红帽OpenShift容器平台)是美国红帽（Red Hat）公司的一套可帮助企业在物理、虚拟和公共云基础架…

概览 Hive中，默认使用的是TextInputFormat，一行表示一条记录。在每条记录(一行中)，默认使用^A分割各个字段。 在有些时候，我们往往面对多行，结构化的文档，并需要…

概览 由于社区近年来构建的各种功能和改进，包括 Tez 和基于成本的优化，Hive 的速度显着提高。 将 Hive 提升到一个新的水平需要以下内容： 异步主轴感知 IO 列块的预取…

摘要：本文整理自小红书数据流团队资深研发工程师何军在 Flink Forward Asia 2021 平台建设专场的演讲，介绍了小红书基于 K8s 管理 Flink 任务的建设过程…

Forrester 提出了客户时代的概念，在这个时代企业面临着愈发激烈的市场竞争以及不断提升的客户期望，而优化客户体验 (CX)对于赢得、服务和留住客户变得至关重要。这意味着公司必…

作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink，作为 Apache 社区最活跃的项目之一[1]，一直秉承积极开放的态度不断进行技术深耕。在…

当下数据规模正在以惊人的速度增长，越来越多的应用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展，涌现了实时 OLAP、实时数据湖、实时数仓等架构，较好地解…