后端

概述   Flink 提供了对于“表”处理的支持，这就是更高层级的应用API，在 Flink 中被称为Table API 和 SQL。Table API 顾名思义，就是基于“表”（…

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个…

作者简介  禹昂，携程移动端资深工程师，专注于 Kotlin 移动端跨平台领域，Kotlin 中文社区核心成员，图书《Kotlin 编程实践》译者。 一、背景 携程机票移动端研发团…

排查顺序 1. 整体情况 top/htop/atop 命令查看进程/线程、CPU、内存使用情况，CPU使用情况； dstat 2 查看CPU、磁盘IO、网络IO、换页、中断、切换，…

本期作者 陈昱康 哔哩哔哩技术专家 B站离线平台负责人, 对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有丰富研发和实践经验。 陈诚 哔哩哔哩资深开发工程师 202…

本文章将结合我们的工作实践，分享如何基于Kubernetes实现在/离线业务的混合部署，在不影响在线业务的前提下，将CPU利用率提高到50%以上，大幅降低企业数据中心成本。 1 引…

00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service，文章[2]中详细介绍了Shuttle的架构和设…

Pinterest 由于在某个节日期间对云计算使用量的增加，该公司的云计算账单大大超过了原先的预估。Pinterest 必须计划 1.7 亿美元的预留资源上向亚马逊云科技再额外支付…

hudi支持HMS catalog啦！ 功能亮点：当flink和spark同时接入hive metastore时，用hive metastore对hudi的元数据进行管理，无论是使…

来源 | 低并发编程 作者 | 闪客 当我们执行 java -version 命令时，通常会看到如下信息。 java version “1.8.0_201″Java(TM) SE …

作者：群核科技大数据团队 群核科技成立于 2011 年 11 月，专注云系统设计及三维内容制作的技术研发和应用，面向家居、房产、公装等全空间领域，为企业级客户提供设计渲染、营销展示…

▼ 关注「Apache Flink」，获取更多技术干货 ▼ 摘要：本文整理自京东高级技术专家韩飞在 Flink Forward Asia 2021 流批一体专场的分享。主要内容包括…

导读： 本系列文章将结合实际开发和使用经验，聊聊可以从哪些方面对数仓查询引擎进行优化。 Impala是Cloudera开发和开源的数仓查询引擎，以性能优秀著称。除了Apache I…

文 | 石伟  来自字节跳动数据平台开发套件团队 埋点数据流 埋点数据流在字节跳动 埋点数据流主要处理的数据是埋点，埋点也叫Event Tracking，是数据和业务之间的桥梁，也…

作者 杨操 欢聚集团高级大数据开发工程师，主要负责 OLAP 系统研发与维护 欢聚集团成立于 2005 年，是一家全球领先的社交媒体企业，旗下运营有 Bigo Live 直播、Li…

商品中心随着自身业务的发展，系统复杂度逐渐变高。在业务治理过程中，我们尝试引入了DDD来辅助进行现有业务的模型重建，并在此基础上完成了中台服务能力的沉淀和对外提供。通过将核心业务逻…

总第517篇 2022年 第034篇 端智能，是指在移动端设备运行人工智能（AI）应用的技术。本文主要讲述大众点评搜索场景下，在端侧部署大规模深度学习模型进行搜索重排序任务的实践方…

摘要：本文整理自大健云仓基础架构负责人、Flink CDC Maintainer 龚中强在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括： 引入 Fli…

摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括： Mo…

作者：波克城市大数据平台部门 波克科技股份有限公司（以下简称“波克城市”）成立于 2010 年，立足于精品休闲游戏的全球化研发、发行，旗下拥有《爆炒江湖》《我是航天员》《猫咪公寓》…