后端

主要提升点： 添加 trim_array() 函数。 (#11238) 通过在 HTTP 标头中压缩它们来改进对具有长查询文本的预准备语句的处理。 这可以使用 protocol.v…

动作识别已成为研究界的主要关注领域，因为许多应用程序都可以从改进的建模中受益，例如视频检索、视频字幕、视频问答等。基于 Transformer 的方法最近展示了最先进的技术 在多个…

概览（Overview） Flink 的 Web 界面提供了选项卡/标签（tab）来监视作业的 checkpoint 信息。作业终止后，这些统计信息仍然可用。有四个不同的选项卡可显…

基本环境 集群主机 IP host147 10.45.151.147 host148 10.45.151.148 host149 10.45.151.149 配置域名映射 vim …

Flink 应用要想大规模可靠运行，必须满足两个条件： 应用程序需要能够可靠地进行checkpoint操作 故障后资源需要足够赶上输入数据流 第一部分讨论如何大规模执行checkp…

本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分： 实时计算平台建设 中移信令业务优化 稳定性实践 …

前人种树，后人乘凉。本文基于社区pr：https://github.com/apache/hudi/pull/3771 ，新增一些其他配置项以完成本场景下的hudi → hive …

今天编译maven项目时遇到仓库https证书过期，具体报错信息如下： [ERROR] Failed to execute goal on project hudi-hadoop-…

在MariaDB中，有如下针对MariaDB与MySQL两种数据库比较的官方说法： MariaDB 和 MySQL 是世界上部署最广泛的两个开源关系数据库，虽然它们有共同的祖先，并…

入门指南 本入门部分将指导您在 Kubernetes 上设置功能齐全的 Flink 集群。 基本介绍 Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署…

K3s 是 Rancher 发布的经过完全认证的 Kubernetes 发行版。K3s 易于使用且更轻量，全部组件都打包在了一个二进制文件里。并且这个二进制文件小于 100 MB。…

在定义数据处理管道时，Table API 和 DataStream API 同样重要。 DataStream API 在一个相对较低级别的命令式编程 API 中提供了流处理的原语（…

Flink SQL 支持对动态表进行复杂灵活的连接操作。 有几种不同类型的连接来解决可能需要的各种语义查询。 默认情况下，连接顺序未优化。 表按照在 FROM 子句中指定的顺序连接…

前面文章基于Java实现Avro文件读写功能我们说到如何使用java读写avro文件，本文基于上述文章进行扩展，展示flink和spark如何读取avro文件。 Flink读写av…

总览 在Java中经常会遇到需要输入参数的情况，JCommander 是一个非常小的 Java 框架，可以轻松解析命令行参数。 下文完整解析JCommander的用法。 例如您可以…

  添加作者微信获取下载地址

Apache Avro是一个数据序列化系统。具有如下基本特性： 丰富的数据结构。 一种紧凑、快速的二进制数据格式。 一个容器文件，用于存储持久数据。 远程过程调用 (RPC)。 与…

分享嘉宾：周劲松 网易 编辑整理：王贤才 碧桂园 出品平台：DataFunTalk 导读：这次分享的主题是网易内部孵化的数据湖项目Arctic。在分析了部分现有开源数据湖项目后，网…

Pinterest是世界上最大的图片社交分享网站。网站允许用户创建和管理主题图片集合,例如事件、兴趣和爱好。以下为来自Pinterest工程师关于代码审查的一些思考。 作者：Sha…

本文是字节跳动数据平台开发套件团队在Flink Forward Asia 2021: Flink Forward 峰会上的演讲，着重分享了字节跳动数据湖技术上的选型思考和探索实践。…