Stella981 Stella981
3年前
Flink SQL 1.11 新功能与最佳实践
本文整理自ApacheFlinkPMC,阿里巴巴技术专家伍翀(云邪)的分享,旨在帮助用户快速了解新版本Table&SQL在Connectivity和Simplicity等方面的优化及实际开发使用的最佳实践,主要分为以下四个部分:1.简要回顾Flink1.8~Flink1.11版本在Apache社区的发展趋势,其中
Stella981 Stella981
3年前
Flink集成数据湖之实时数据写入iceberg
背景iceberg简介flink实时写入准备sqlclient环境创建catalog创建db创建table插入数据查询代码版本总结
Stella981 Stella981
3年前
Apache Flink结合Apache Kafka实现端到端的一致性语义
本次分享来自阿里巴巴的工程师在ApacheKafkaxApacheFlink·北京会议上的分享,关于Apache Flink结合ApacheKafka实现端到端的一致性语义的原理。2017年12月Apache Flink社区发布了1.4版本。该版本正式引入了一个里程碑式的功能:两阶段提交Sink,即TwoPhaseCommitSin
Stella981 Stella981
3年前
Flink 1.11 SQL 使用攻略
作者|李劲松,ApacheFlinkCommitter,阿里巴巴技术专家7月6日,ApacheFlink1.11正式发布。从3月初进行功能规划到7月初正式发版,1.11用将近4个月的时间重点优化了Flink的易用性问题,提升用户的生产使用体验。SQL作为Flink中公认的核心模块之一,对推动
Stella981 Stella981
3年前
Flink1.6系列之—Flink on yarn流程详解
本篇我们介绍下,Flink在YARN上运行流程: !(https://oscimg.oschina.net/oscnet/abed65e906c711c81f069e4d928ac95ed4f.jpg) !(https://images2018.cnblogs.com/blog/1009533/201808/100953320180
Stella981 Stella981
3年前
Flink使用RestApi
flink是一个非常好用的流任务计算框架,这次我们来试用flink的restApi来提交任务.主要阐述几个常用的restapi,包括上传jar包,查询jar包,提交任务,查询任务,删除任务等,其它的比如删除jar包,查询jobmanager,查询taskmanager等等,类推就可以得出了,不在这里进行重复介绍了1,上传
Stella981 Stella981
3年前
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!
新特性及优化内存管理及配置优化Flink目前的TaskExecutor内存模型存在着一些缺陷,导致优化资源利用率比较困难,例如:流和批处理内存占用的配置模型不同;流处理中的RocksDBstatebackend需要依赖用户进行复杂的配置。为了让内存配置变的对于用户更加清晰、直观,Flink