后端
-
Flink 在中泰证券的实践与应用
摘要:本文整理自中泰证券大数据中心实时计算平台架构师连序全,在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分: 平台发展历程 架构&…
-
应用响应时延背后深藏的网络时延
应用异常时,基本可以分为服务访问不通和服务响应慢两个大类。其中服务响应慢的问题定位非常棘手,很多无头案。应用团队有日志和追踪,对于自认为的不可能不合理的事情都会甩给基础设施团队,又…
-
浅析三款大规模分布式文件系统架构设计
当提到文件系统时,大部分人都很陌生。但实际上我们几乎每天都会使用它。比如,大家打开 Windows、macOS 或者 Linux,不管是用资源管理器还是 Finder,都是在和文件…
-
哔哩哔哩大数据平台建设之路—数据安全篇
本期作者 李昌海 哔哩哔哩资深开发工程师 韩志华 大数据平台工具负责人 1.序言 Berserker是B站一站式数据开发及治理平台,基于常用大数据生态组件构建,满足公司内数据查询、…
-
基于 Flink 流计算实现的股票交易实时资产应用
01 背景 本次赛题思路源自于真实工作场景的一个线上项目,该项目在经过一系列优化后已稳定上线,在该项目开发的过程中数据平台组和技术负责人提供了许多资源和指导意见,而项目的结果也让…
-
详解 Apache Pulsar 消息生命周期
文章摘要 本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle…
-
Apache Flink 1.16 功能解读
摘要:本文整理自阿里云高级开发工程师 Apache Flink Committer、Flink 1.16 Release Manager 黄兴勃(断尘),在 FFA 2022 核心…
-
Yarn 混合部署方案在好未来的实现
背景:Kubernetes(k8s)/ack是一个开源的容器集群管理系统。在Docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高…
-
得物供应链复杂业务实时数仓建设之路
01 背景 得物供应链业务是纷繁复杂的,我们既有JIT的现货模式中间夹着这大量的仓库作业环节,又有到仓的寄售,品牌业务,有非常复杂的逆向链路。在这么复杂的业务背后,我们需要精细化关…
-
T3 出行基于 Hudi+Kyuubi 的现代技术栈探索
导读 过去的几年里,随着大数据的进一步发展,现代数据栈的生态愈加丰富完善,而数据湖在这期间几乎已成为现代数据栈的必备品,它的出现大大简化了用户管理数据的难度,让用户更加关心于数据本…
-
apache hudi 0.13.0版本重磅发布
Apache Hudi 0.13.0引入了一系列新特性,包括Metaserver, Change Data Capture, new Record Merge API, new s…
-
运维常用的 34 个 Linux Shell 脚本,一定能帮到你!
来源:CSDN http://985.so/xyf7 作为一名 Linux 工程师,会写好的脚本不仅能提高工作效率,还能有更多的时间做自己的事。最近在网上冲浪的时候,也注意收集一…
-
集度汽车 Flink on native k8s 的应用与实践
摘要:本文整理自集度汽车数据部门实时方向负责人、 Apache Flink Contributor 周磊&集度汽车数据开发专家顾云,在 FFA 2022 行业案例专场的分享…
-
【Shopee】大数据存储加速与服务化在Shopee的实践
本次分享主要包括四个方面: 存储现状 存储加速 存储服务化 未来规划 存储现状 1 存储结构:目前虾皮的存储结构从上到下主要分为存储层、调度层、计算引擎层和平台管理层。 2 存储规…
-
K8s的Service详解
Service介绍 ● 在kubernetes中,Pod是应用程序的载体,我们可以通过Pod的IP来访问应用程序,但是Pod的IP地址不是固定的,这就意味着不方便直接采用Pod的I…
-
如何修改 Kubernetes Master节点 IP?
昨天网络环境出了点问题,本地的虚拟机搭建的 Kubernetes 环境没有固定 IP,结果节点 IP 变了,当然最简单的方式是将节点重新固定回之前的 IP 地址,但是自己头铁想去修…
-
head first java 中文版 PDF下载
简介 《HeadFirstJava》是一本完整地面向对象(object-oriented,OO)程序设计和Java的学习指导用书,根据学习理论所设计,你可以从程序语言的基础开始,到…
-
破茧成蝶 – Serverless Kubernetes 的思考与征程(二)
阿里妹导读 本文主要针对 Serverless Container 技术的特殊性,分享其对 Kubernetes 的架构影响,以及阿里云在Serverless Kubernetes…
-
没有银弹,只有取舍 – Serverless Kubernetes 的思考与征程(一)
Kubernetes作为云原生计算的基础项目,已经在开发者和企业中获得广泛的支持。然而其自身复杂性和陡峭的学习曲线依然让人望而生畏。在 CNCF 2020年度调研报告中,在Kube…
-
Presto+Alluxio 加速 Iceberg 数据湖访问
导读 本文将分享 Alluxio 社区和 Presto 社区在数据湖方面的一些工作,主要聚焦 Iceberg。 文章包括以下几个部分: 1. Presto & Alluxi…