flink sql

  • Flink SQL Client远程调试指南

    在使用Flink SQL过程中,SQL Client想必大家都是非常熟悉的,本文介绍基于IDEA的SQL Client远程调试方法。 前提:本文使用的Flink版本为1.14.4,…

    2022-06-23
    01270
  • 如何给 Flink Print SQL Connector 添加随机取样功能?

    Flink 提供了 Print SQL Connector 可以让我们非常方便的把数据打印到标准输出.有助于我们测试 SQL 任务,检验数据的正确性.

    但是在生产环境中,上游的数据量是非常大的,如果直接把数据输出的话,可能会把标准输出文件打满,造成页面卡死的情况,反而不利于我们观测数据,所以我们可以对 Print SQL Connector 进行简单的改造,加一个随机取样的参数控制数据输出.

    2022-06-21
    0650
  • Flink Sql Gateway的原理与实践

    背景 我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStream API,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵…

    2022-04-22
    01520
  • Flink cdc自定义format格式数据源

    总览 变更数据捕获 (CDC) 已成为一种流行的模式,用于从数据库捕获已提交的变更并将这些变更传播给下游消费者,例如保持多个数据存储同步并避免常见的陷阱,例如双重写入。 能够轻松地…

    2021-11-09
    03390
  • 使用FLINK SQL从savepoint恢复hudi作业 (flink 1.13)

    Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍 接下来我们从Flink SQL Client构建一个mysq…

    2021-11-09
    29800