实际生产中，由于各种原因，导致事件创建时间与处理时间不一致，收集的规定对实时推荐有较大的影响。所以一般情况时选取创建时间，然后事先创建flink的时间窗口。但是问题来了，如何保证这个窗口的时间内所有事件都到齐了？这个时候就可以设置水位线（waterMark）。概念：支持基于时间窗口操作，由于事件的时间来源于源头系统，很多时候由于网络延迟、分布式处理，以

FlinkKafka整合实例1.使用工具IntelligIDEA新建一个maven项目，为项目命名为kafka01。2.我的pom.xml文件配置如下。<?xmlversion"1.0"encoding"UTF8"?<projectxmlns"http://maven.apache.org/POM/4

1.环境准备:　　1.搭建单机版的Redis　　2.虚拟机上ncl9000方式产生数据2.需求分析：通过socket的ncl9000方式产生数据，然后将数据以list的形式存入到Redis中3.flink依赖的redis的pom文件     redis的依赖(https://www.oschina.net/ac

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜!(https://oscimg.oschina.net/oscnet/13f461b1994b48708541d60d575ee1b1.png)!(https://oscimg.oschina.net/oscnet/e46767bdfd0a47bc

FlinkForward201812PPT资料下载：下载地址一：http://cdn.iteblog.com/FlinkForward201812.7z下载地址二：链接：https://pan.baidu.com/s/1aiCpN6eaclCeBq4OXw1Wg提取码：a2kh!(https://oscimg.oschina.n

社区中有好几个同学问过这样的场景：　　flink任务中，source进来的数据，需要连接数据库里面的字段，再做后面的处理这里假设一个ETL的场景，输入数据包含两个字段“type,userid....”，需要根据type，连接一张mysql的配置表，关联type对应的具体内容。相对于输入数据的数量，type的值是很少的

!(https://oscimg.oschina.net/oscnet/2cec00eb2dccf5fdec8def77207da253a86.jpg)1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm（以下简称“Storm”）在美团点评实时

分布式缓存Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。

项目概述CDN热门分发网络，日志数据分析，日志数据内容包括aliyunCNE17/Jul/2018:17:07:500800223.104.18.110v2.go2yd.com17168接入的数据类型就是日志离线：FlumeHDFS实时: Kafka

!(https://oscimg.oschina.net/oscnet/72793fbade36fc18d649681ebaeee4cdf00.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT