摘要：7月，Flink1.11新版发布，在生态及易用性上有大幅提升，其中Table&SQL开始支持ChangeDataCapture（CDC）。CDC被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区由曾庆东同学分享，主要介绍FlinkSQLCDC在生产环境的落地实践以及总结的实战经验，文章分为

无论在OLAP还是OLTP领域，Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言，经过数据库领域多年的积累，Join语义以及实现已经十分成熟，然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集，而Strea

欢迎访问我的GitHubhttps://github.com/zq2599/blog\_demos(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2Fzq2599%2Fblog_demos)内容：所有原创文章分类汇总及配套源码，涉及Java、Doc

之前我们在FlinkSQL中支持了MiniBatch,在支持高吞吐场景发挥了重要作用。今年我们在FlinkSQL性能优化中一项重要的改进就是升级了微批模型，我们称之为MicroBatch，也叫MiniBatch2.0。在设计和实现Flink的流计算算子时，我们一般会把“面向状态编程”作为第一准则。因为在流计算中，为了保证状态（St

大数据文摘出品终于，字节跳动起诉了美国政府。美国当地时间8月24日，TikTok正式对美国政府发起诉讼(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fmp.weixi

1简介随着数据的增长，我们对于文件的同步和备份需求也日趋强烈。各种网盘为我们在文件同步备份提供便利的同时，也在速度、安全和隐私等方面带来不小的限制和风险。Syncthing(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.zhihu.com%2F%3F

背景使用流式数据入湖开启压缩程序快照过期删除无用文件数据查询遇到的坑最大并发度问题文件被重复压缩扫描任务读取文件问题不读取大文

本文由京东搜索算法架构团队分享，主要介绍ApacheFlink在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下：1、背景2、京东搜索在线学习架构3、实时样本生成4、FlinkOnlineLearning5、监控系统6、规划总结一、背景在京东的商品搜索排序中，

本内容为后续系例示例的演示基础，所有相关示例、数据源、依赖均在此文内的工程与数据之上进行演示。后续如有变动，会在本文中变更。如有错误之处，敬请指出。示例环境java.version:1.8.xflink.version:1.11.1创建工程idea中创建项目，项目名称：flinkexamples

转自：https://www.jianshu.com/p/a9bccc12229b众所周知，从某些视频网站下载的视频是分段的。比如新浪视频每隔6分钟分段，俗称“6分钟诅咒(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.jianshu.com%3Ft%3Dhttp%253A