总览 访客实时统计业务在很多网站应用中是非常常见的，它不仅仅能够实时展示网站的访问情况，还可以给决策者提供一定的决策依据，本文描述了如何基于RocketMQ消息中间件以及Flink实时引擎构建网站访问用户实时分析系统。并以网站不同省份访问用户模拟数据为例展示如何将数据发送至RocketMQ、如何使用Flink查询RocketMQ数据并写入Clickho...

Flink 应用要想大规模可靠运行，必须满足两个条件： 应用程序需要能够可靠地进行checkpoint操作; 故障后资源需要足够赶上输入数据流; 第一部分讨论如何大规模执行checkpoint。 最后一部分解释了一些关于规划要使用多少资源的最佳实践。 监控检查点行为的最简单方法是通过 UI 的检查点部分。 检查点监控 (https://nightlie...

这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态 原文链接：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/internals/jobscheduling/ (https://nightlies.apache.org/...

Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。 StreamTask 是 Flink 流式计算引擎中所有不同 task 子类的基础。本文会深入讲解 StreamTask 生命周期的不同阶段，并阐述每个阶段的主要方法。 本文摘自：https...

入门指南 本入门部分将指导您在 Kubernetes 上设置功能齐全的 Flink 集群。 基本介绍 Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。 Flink 的原生 Kubernetes 集成允许您直接在运行的 Kubernetes 集群上部署 Flink。 此外，Flink 能够根据所需资源动态分配和...

Flink 是一个多功能框架，以混合搭配的方式支持许多不同的部署场景。 下面，我们简要介绍 Flink 集群的构建块、它们的用途和可用的实现。 如果你只是想在本地启动 Flink，我们建议设置一个 Standalone Cluster。 概述和参考架构 下图展示了每个 Flink 集群的构建块。 总有一个客户端在运行。 它获取 Flink 应用程序的代...

基本环境 | -- 集群主机IP host14710.45.151.147 host14810.45.151.148 host14910.45.151.149| 配置域名映射 vim /etc/hosts 下载Flink安装包，将其放到/data目录下，并解压 使用flink内置zk启动zk集群 选定上述三个节点作为安装zk集群的节点。 在conf/f...

在 Pinterest，流数据处理支持广泛的实时用例。 近年来，由 Flink 提供支持的平台通过提供近乎实时的内容激活和指标报告，已被证明对业务具有巨大价值，并有可能在未来解锁更多用例。 然而，为了利用这种潜力，我们需要解决开发者速度的问题。 从编写第一行代码到生产中的稳定数据流可能需要数周时间。 由于要调查的日志和指标的数量以及可调整的配置的多样性...

Flink的运⾏架构 当 Flink 集群启动后，⾸先会启动⼀个 JobManger 和⼀个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执⾏，然后 TaskManager 将⼼跳和统计信息汇报给 JobManager。TaskManager 之间...

背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好的降低大促期间机器扩缩容的成本。同时，由于 K8s 在公司内部有专门的团队进行维护，Flink k8s 化也能够更好的减低公司的运维成本。 不过当前 Flink k8s 任务...

总览 变更数据捕获 (CDC) 已成为一种流行的模式，用于从数据库捕获已提交的变更并将这些变更传播给下游消费者，例如保持多个数据存储同步并避免常见的陷阱，例如双重写入。 能够轻松地将这些变更日志摄取和解释到 Table API/SQL 中一直是 Flink 社区的一个非常需要的功能，现在 Flink 1.11 可以实现。 为了将 Table API/S...

With语法 WITH提供了一种方法来编写辅助语句，以便在较大的查询中使用。这些语句通常被称为公共表表达式(Common Table Expression, CTE)，可以认为它们定义了仅为一个查询而存在的临时视图。 WITH语句的语法是: 下面的示例定义了一个公共表表达式orderswithtotal，并在一个GROUP BY查询中使用它。 SELE...

自定义函数（UDF）是一种扩展开发机制，可以用来在查询语句里调用难以用其他方式表达的频繁使用或自定义的逻辑。 自定义函数可以用 JVM 语言（例如 Java 或 Scala）或 Python 实现，实现者可以在 UDF 中使用任意第三方库，本文聚焦于使用 JVM 语言开发自定义函数。 概述 当前 Flink 有如下几种函数： 标量函数 将标量值转换成一...

Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN (https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html)、Apache Mesos (https://mesos.a...

实践练习章节介绍了作为 Flink API 根基的有状态实时流处理的基本概念，并且举例说明了如何在 Flink 应用中使用这些机制。其中 Data Pipelines & ETL 小节介绍了有状态流处理的概念，并且在 Fault Tolerance 小节中进行了深入介绍。Streaming Analytics 小节介绍了实时流处理的概念。 本章...

Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证。 FileSystem 的可用操作集非常有限，以支持广泛的文件系统。 例如，不支持追加或改变现有文件。 文件系统由文件系统方案标识，例如 file://、hdfs:// 等...

什么是状态 虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但有些操作会记住跨多个事件的信息（例如窗口操作符）。 这些操作称为有状态的。 有状态操作的一些示例： 当应用程序搜索某些事件模式时，状态将存储迄今为止遇到的事件序列。; 在每分钟/小时/天聚合事件时，状态会保存待处理的聚合。; 在数据点流上训练机器学习模型时，状态会保存模型参...

含有时间的流处理是有状态流处理 (https://lrting.top/backend/3604/)的扩展，其中时间在计算中起一定作用。 除其他外，当您进行时间序列分析、基于特定时间段（通常称为窗口）进行聚合时，或者在事件发生的时间很重要的情况下进行事件处理时，就会出现这种情况。 在以下部分中，我们将重点介绍在使用含有时间的 Flink 应用程序时应考...

在定义数据处理管道时，Table API 和 DataStream API 同样重要。 DataStream API 在一个相对较低级别的命令式编程 API 中提供了流处理的原语（即时间、状态和数据流管理）。 Table API 抽象了许多内部结构，并提供了结构化和声明性的 API。 两种 API 都可以处理有界和无界流。 处理历史数据时需要管理有界流...

在使用Flink SQL过程中，SQL Client想必大家都是非常熟悉的，本文介绍基于IDEA的SQL Client远程调试方法。 前提：本文使用的Flink版本为1.14.4，其他版本调试方法也一样。 翻看sql-client.sh脚本，其实里面的内容就是执行SqlClient这个主类。 所以我们只需要在这个脚本里面加上调试参数，然后IDEA开启调...