后端

性能优化 性能指标 高并发和响应快对应着性能优化的两个核心指标：吞吐和延时 应用负载角度：直接影响了产品终端的用户体验 系统资源角度：资源使用率、饱和度等 性能问题的本质就是系统资…

我们知道Java有一个特性，多线程，它是一个同时运行多个线程的过程。 当多个线程处理相同的数据，并且我们的数据值发生变化时，这种情况不是线程安全的，我们会得到不一致的结果。 当一个…

多线程程序可能经常遇到多个线程尝试访问相同资源并最终产生错误和无法预料的结果的情况。 因此需要通过某种同步方法确保在给定时间点只有一个线程可以访问资源。 Java 提供了一种使用同…

docker启动oracle数据库 拉取镜像 docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g 容器…

服务器程序（如数据库和 Web 服务器）重复执行来自多个客户端的请求，这些程序旨在处理大量短任务。 构建服务器应用程序的一种方法是在每次请求到达时创建一个新线程，并在新创建的线程中…

在 Java 中，多线程是指同时执行两个或多个线程以最大限度地利用 CPU 的过程。 Java 中的线程是一个轻量级进程，只需要较少的资源即可创建和共享进程资源。 多线程和多进程用…

实践练习章节介绍了作为 Flink API 根基的有状态实时流处理的基本概念，并且举例说明了如何在 Flink 应用中使用这些机制。其中 Data Pipelines & …

Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernet…

Apache Hudi[1]（简称“Hudi”）于 2016 年在 Uber 创建，旨在将数据仓库功能引入数据湖以获取准实时的数据，开创了事务数据湖架构，现已在所有垂直行业中进入主…

分享嘉宾：靳国卫 快手 大数据研发专家 编辑整理：刘鹏鹏 滴滴出行 出品平台：DataFunTalk 导读：从领域模型建设的角度，我们知道需要对业务场景进行合理的拆解、规划、设计，…

含有时间的流处理是有状态流处理的扩展，其中时间在计算中起一定作用。 除其他外，当您进行时间序列分析、基于特定时间段（通常称为窗口）进行聚合时，或者在事件发生的时间很重要的情况下进行…

摘要： 本文介绍了 Flink CDC 利用 Kafka 进行 CDC 多源合并和下游同步更新的实践分享。 前言 本文主要是针对 Flink SQL 使用 Flink CDC 无法…

分享嘉宾：汪溯 阿里云 高级安全专家 编辑整理：李本培 中地数码 出品平台：DataFunTalk 导读：在数字化时代下，数据安全的流通成为传统企业和新型的数字经济企业亟待面对的问…

什么是状态 虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但有些操作会记住跨多个事件的信息（例如窗口操作符）。 这些操作称为有状态的。 有状态操作的一些示例： …

3.1.0 版本包含许多改进和新功能。我们将在这篇博文中重点介绍一些更突出的功能，但请参阅发行说明以获取完整的更改列表。 虽然仍然不建议将 KRaft 用于生产（已知差距），但我们…

Parquet介绍 Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它…

大数据技术的内涵伴随着传统信息技术和数据应用的发展不断演进，而大数据技术体系的核心始终是面向海量数据的存储、计算、处理等基础技术。支撑数据存储计算的软件系统起源于20世纪60年代的…

HBCK2是apache hbase集群修复工具。 HBCK2 与hbck1比较 HBCK2 是 hbck 的继承者，hbase-1.x (A.K.A hbck1) 附带的修复工具…

总览 在接下来的文章中，我们将学习如何使用开源软件 (OSS) 在 AWS 上构建数据湖，包括 Red Hat 的 Debezium、Apache Kafka、Kafka Conn…