1 前言 在Java的世界里，每一个类或者接口，在经历编译器后，都会生成一个个.class文件。类加载机制指的是将这些.class文件中的二进制数据读入到内存中，并对数据进行校验，…

引言 Flink 在大数据流处理方面具有高吞吐、低延迟等优势，其作为微信大数据平台 Gemini-2.0 的实时流计算引擎，支撑了微信实时推荐、实时数仓、实时风控等多个业务场景的应…

缘起 从去年底开始 ChatGPT 火爆出圈，大家都在思考如何利用 ChatGPT 的能力来构建自己的应用，我也在想，如果有一个机器人可以学习一下开源项目文档中的信息，那是否就可以…

Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。此方案是实时领域Flink的解决思路，类似于离线数仓 Hive 中 R…

本期作者 许龙 哔哩哔哩资深开发工程师 崔超杰 哔哩哔哩高级开发工程师 张鹤 哔哩哔哩资深SRE工程师 一、背景 B站基于k8s构建的私有云平台已达万级节点规模，托管了公司大部分的…

点个关注?跟腾讯工程师学技术 引言| 要确保Kafka在使用过程中的稳定性，需要从kafka在业务中的使用周期进行依次保障。主要可以分为：事先预防（通过规范的使用、开发，预防问题产…

作者：vivo 互联网容器团队- Pan Liangbiao 本文根据潘良彪老师在“2022 vivo开发者大会”现场演讲内容整理而成。 2018年起，vivo以容器作…

作者简介 携程旅游研发部大数据与AI研发团队，为旅游事业部提供丰富的AI技术产品和技术能力。 一、背景介绍 搜索是电商最重要的门面之一，大部分用户通过搜索来找到他们想要的商品，因此…

本文作者：许奕斌，阿里云智能高级研发工程师。 Why we need schema RocketMQ 目前对于消息体没有任何数据格式的约束，可以是 JSON ，可以是对象 toSt…

一、背景 资金核对的数据组装-执行-应急链路，有着千万级TPS并发量，同时由于资金业务特性，对系统可用性和准确性要求非常高；日常开发过程中会遇到各种各样的高可用问题，也在不断地尝试…

导读： 本文将带领大家一起基于实际的应用场景进行实践，从0~1构建数据标准并在模型设计和数据质量中体现价值。 数据标准如何应用？数据标准能起到什么作用？自数据标准产品上线以来，一直…

摘要：本⽂由社区志愿者邹志业整理，内容来源⾃阿里云实时计算产品经理李佳林（风元）在 7 月 5 日 Flink 峰会（CSDN 云原生系列）的演讲。主要内容包括： 基于 Flink…

分享嘉宾：李文杰博士 北京大学 博士后 编辑整理：王京旺 河北北方学院 出品平台：DataFunTalk 导读：本文分享图数据库和知识图谱的基础内容以及我们做过的相关工作。主要内容…

IDEA创建Scala项目 简介 前提准备 详细操作流程 简介 最近在复习Scala知识，之前没有记录IDEA创建Scala(以maven项目为准)项目。这篇文章将记录创建的整个详…

ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度。作为该领域中的后起之秀，ClickHouse已凭借其性能优势引领了业内…

为推动隐私计算产业进一步发展，由中国通信标准化协会指导，中国信息通信研究院（以下简称“中国信通院”）、隐私计算联盟主办的2022隐私计算大会于7月13日在北京召开。 在大会主论坛上…

分享嘉宾：黄彬耕 腾讯 数据工程师 编辑整理：田长远 出品平台：DataFunTalk 导读：今天主要分享Iceberg在微视的一些使用情况。全文将围绕下面三点展开： 为什么会使用…

Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而…

作者简介  一十，携程资深后端开发工程师；振青，携程高级后端开发专家。 一、前言 携程酒店查询服务是酒店BU后端的核心服务，主要负责提供所有酒店动态数据计算的统一接口。在处理请求的…

基本内容 Hive作为Hadoop生态的重要组成部分，以其稳定和简单易用成为了当前企业在搭建大数据平台及构建企业级数据仓库时使用较为普遍的大数据组件之一。 目前，图书市场上关于Hi…