后端
-
Nacos 快速入门
1.预备环境准备 Nacos 依赖 Java 环境来运行。如果您是从代码开始构建并运行Nacos,还需要为此配置 Maven环境,请确保是在以下版本环境中安装使用: 64 bit …
-
Apache Iceberg在网易严选批流一体的实践
分享嘉宾:祝佳俊 网易严选 资深开发工程师 编辑整理:张晓伟 美团点评 出品平台:DataFunTalk 导读:Iceberg是数据湖解决方案中比较热门的解决方案之一,通常用于批流…
-
一面数据: Hadoop 迁移云上架构设计与实践
? 作者简介: 刘畅,一面数据运维负责人,十五年程序老兵,计算机原理、算法、编程爱好者。 李阳良,一面数据大数据部门负责人,九年互联网工作经验,对后台开发、大数据技术接触比较多。 …
-
如何使用git 生成patch 和打入patch
平时我们在使用git 管理项目的时候,会遇到这样一种情况,那就是客户使用git 生成patch 给到我们,那我们就需要把客户给到patch 打入到我们的project ,基于这样一…
-
带你玩转消息队列和相关选型!
导语 | 本文主要介绍Kafka、RabbitMQ、Pulsar、RocketMQ相关的基本原理和选型对比,希望对此方向感兴趣的读者提供一定经验和帮助。 消息队列 (一)消息队列使…
-
Apache Hudi 0.12.0版本重磅发布!
Presto-Hudi 连接器 从 PrestoDB 0.275 版本开始,用户现在可以利用原生 Hudi 连接器来查询 Hudi 表。它与 Hive 连接器中的 Hudi 支持相…
-
SQL优化的魅力!从 30248s 到 0.001s
我用的数据库是mysql5.6,下面简单的介绍下场景 课程表: create table Course( c_id int PRIMARY KEY, name varchar(…
-
有数大数据基础平台NDH之智能运维平台EasyEagle介绍:任务篇
上一篇文章中,我们介绍了EasyEagle作为一款大数据底层的智能监控诊断平台,是如何解决数据平台中的诸多痛点问题。而在本篇中,我们将从细粒度的任务维度入手,介绍EasyEagle…
-
特性大PK?Hudi vs Delta Lake vs Iceberg
简介 随着 Lakehouse 的日益普及,人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚:Apache Hudi、Delta Lake 和 Apache Iceber…
-
Yelp 的 Spark 数据血缘建设实践!
在这篇博文中,我们介绍了 Spark-Lineage,这是一种内部产品,用于跟踪和可视化 Yelp 的数据是如何在我们的服务之间处理、存储和传输的。 Spark 和 Spark-E…
-
数据血缘图谱升级方案设计与实现
动手点关注 干货不迷路 ? 数据地图平台是字节跳动内部的大数据检索平台,每天近万的字节员工在此查找所需数据。数据地图通过提供便捷的找数,理解数服务,大大节省了内部数据的沟通和建设成…
-
千万千万不要在方法上打断点!太坑了!
来源 | why技术 作者 | why技术 上周遇到了一个莫名其妙的搞心态的问题,浪费了我好几个小时。 主要是最后问题的解决方式也让我特别的无语,真的是越想越气。 先说结论,也就是…
-
快看漫画构建数据治理闭环的逻辑与实践
分享嘉宾:屈世超 快看 数据开发负责人 编辑整理:许友昌 浙大中控 出品平台:DataFunTalk 导读:快看在过去经历了业务线以及每个业务线数据体量的极速扩张,我们的数据部门也…
-
网易有道成人教育数仓建设实践
导读: 随着有道旗下网易云课堂、中国大学mooc产品的迅速发展,对数据的需求日益增多,在提高数据服务质量和数据使用效率、降低数据使用成本、数据赋能业务的背景下,我们从0到1建设成人…
-
基于 Flink x TiDB,智慧芽打造实时分析新方案
摘要:本文整理自智慧芽数据仓库架构师曲明星在 Flink Forward Asia 2021 实时数仓专场的分享。本篇内容主要分为三个部分: 产品架构 技术架构 未来计划 01 产…
-
深入理解完美哈希!
导语 | 本文对完美Hash的概念进行了梳理,通过Hash构建步骤来了解它是如何解决Hash冲突的,并比较了Hash表和完美Hash表。下面介绍常见的Hash与Perfect Ha…
-
FlinkSQL字段血缘解决方案及源码
FlinkSQL字段血缘解决方案及源码 序号 作者 版本 时间 备注 1 HamaWhite 1.0.0 2022-08-09 增加文档和源码 作者邮箱: song.bs@dtwa…
-
Apache Druid 在 Shopee 的云原生架构演进
目录1. 背景 1.1 Druid 介绍 1.2 基于物理机架构 1.3 基于云原生架构2. 架构设计 2.1 架构总图 2.2 组件内部交互图3. 落地实践4…
-
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
摘要:本⽂由社区志愿者邹志业整理,内容来源⾃阿里云实时计算产品经理李佳林(风元)在 7 月 5 日 Flink 峰会(CSDN 云原生系列)的演讲。主要内容包括: 基于 Flink…
-
RedisJson 横空出世,比 ES 快7 倍,惊爆了!
近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论: 对于隔离写入(isolated writes),…