Stella981 Stella981
3年前
Apache Hudi + Flink作业运行指南
近日ApacheHudi社区合并了Flink引擎的基础实现(HUDI1327),这意味着Hudi开始支持Flink引擎。有很多小伙伴在交流群里咨询HudionFlink的使用姿势,三言两语不好描述,不如实操演示一把,于是有了这篇文章。当前Flink版本的Hudi还只支持读取Kafka数据,Sink到COW(COPY\_ON\
Stella981 Stella981
3年前
Flink JDBC Connector:Flink 与数据库集成最佳实践
整理:陈政羽(Flink社区志愿者)摘要:Flink1.11引入了CDC,在此基础上,JDBCConnector也发生比较大的变化,本文由 ApacheFlinkContributor,阿里巴巴高级开发工程师徐榜江(雪尽)分享,主要介绍Flink1.11JDBCConnector的最佳实践。大纲如下:
Stella981 Stella981
3年前
Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)
如今的大数据批计算,随着Hive数仓的成熟,普遍的模式是Hivemetastore计算引擎。常见的计算引擎有HiveonMapReduce、HiveonTez、HiveonSpark、SparkintegrateHive、PrestointegrateHive,还有随着Flink1.10发布后生产可用的Flink
Stella981 Stella981
3年前
Apache Flink 零基础入门(一):基础概念解析
本文是根据ApacheFlink基础篇系列直播整理而成,由ApacheFlinkPMC戴资力与阿里巴巴高级产品专家陈守元共同分享。ApacheFlink系列入门教程每周更新一期,持续推送。▼预告 ▼自Flink1.0版本后变动最大又十分神秘的Flink1.9版本即将发布,Flink1.9
Stella981 Stella981
3年前
Nebula Flink Connector 的原理和实践
摘要:本文所介绍NebulaGraph连接器NebulaFlinkConnector,采用类似Flink提供的FlinkConnector形式,支持Flink读写分布式图数据库NebulaGraph。文章首发NebulaGraph官网博客:https://nebulagraph.com.cn/posts/neb
Stella981 Stella981
3年前
Flink从入门到真香(13、时间语义的定义)
在watermark之前先说下时间的概念,在https://blog.51cto.com/mapengfei/2554577里面有各种时间窗口,实际生产中那是以哪个时间为准产生的窗口呢?事件发生的时间?进入flink程序的时间?还是flink开始处理的时间Flink提供了一套设计解决方案设置可以在代码中env直接设置
Stella981 Stella981
3年前
Flink 集群安装配置
以下操作均在主节点进行1.环境变量添加FLINK\_HOME以及path的内容:exportFLINK_HOME/bigdata/flink1.6.1exportPATH$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOM
Stella981 Stella981
3年前
Flink
给一个2层嵌套的数据{"metric":"smsSendSucessCout1","nested":{"clientId":"clientid","number":20},"time":1537075089042,"value":"1.0"}这个其实只要定义好schema就可以了,直接上源码/实体对
Flink State 状态原理解析 | 京东物流技术团队
一、FlinkState概念State用于记录Flink应用在运行过程中,算子的中间计算结果或者元数据信息。运行中的Flink应用如果需要上次计算结果进行处理的,则需要使用状态存储中间计算结果。如Join、窗口聚合场景。Flink应用运行中会保存状态信息到