Stella981 Stella981
3年前
Flink SQL CDC 上线!我们总结了 13 条生产实践经验
摘要:7月,Flink1.11新版发布,在生态及易用性上有大幅提升,其中Table&SQL开始支持ChangeDataCapture(CDC)。CDC被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景,本文由社区由曾庆东同学分享,主要介绍FlinkSQLCDC在生产环境的落地实践以及总结的实战经验,文章分为
Stella981 Stella981
3年前
Flink 流批一体的实践与探索
自GoogleDataflow模型被提出以来,流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性,提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本,但同时这对计算引擎来说是一个很大的挑战。作为Dataflow模型
Stella981 Stella981
3年前
Flink SQL 如何实现数据流的 Join?
无论在OLAP还是OLTP领域,Join都是业务常会涉及到且优化规则比较复杂的SQL语句。对于离线计算而言,经过数据库领域多年的积累,Join语义以及实现已经十分成熟,然而对于近年来刚兴起的StreamingSQL来说Join却处于刚起步的状态。其中最为关键的问题在于Join的实现依赖于缓存整个数据集,而Strea
Stella981 Stella981
3年前
Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL
上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的Demo代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于FlinkSQL的初学者能有所帮助。完整分享可以观看Meetup视频回顾:https://developer.aliyun.com/live/1416(
Easter79 Easter79
3年前
TikTok正式起诉特朗政府,公开诉讼书控诉三大罪状!
大数据文摘出品终于,字节跳动起诉了美国政府。美国当地时间8月24日,TikTok正式对美国政府发起诉讼(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.zhihu.com%2F%3Ftarget%3Dhttp%253A%2F%2Fmp.weixi
Easter79 Easter79
3年前
Syncthing
1简介随着数据的增长,我们对于文件的同步和备份需求也日趋强烈。各种网盘为我们在文件同步备份提供便利的同时,也在速度、安全和隐私等方面带来不小的限制和风险。Syncthing(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.zhihu.com%2F%3F
Wesley13 Wesley13
3年前
C语言 数据结构与算法 线性表
数据结构中逻辑结构分线性和非线性。线性表即为线性结构中的一种。线性表的特性百度百科解释在此(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fbaike.baidu.com%2Flink%3Furl%3Dm5wYoP22YXWSGX6N_40IdWMasr8aUm9Zh
Stella981 Stella981
3年前
FFMpeg无损合并视频的多种方法
转自:https://www.jianshu.com/p/a9bccc12229b众所周知,从某些视频网站下载的视频是分段的。比如新浪视频每隔6分钟分段,俗称“6分钟诅咒(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Flink.jianshu.com%3Ft%3Dhttp%253A
个推基于Flink SQL建设实时数仓实践
作为一家数据智能企业,个推在服务垂直行业客户的过程中,会涉及到很多数据实时计算和分析的场景,比如在服务开发者时,需要对App消息推送的下发数、到达数、打开率等后效数据进行实时统计;在服务政府单位时,需要对区域内实时人口进行统计和画像分析。为了更好地支撑大数据业务发展,个推也建设了自己的实时数仓。相比Storm、Spark等实时处理框架,Flink不仅具有高吞
Flink和StreamPark自定义UDF函数的使用
本文分享自天翼云开发者社区《》,作者:王帅1、什么是函数在SQL中,我们可以把一些数据的转换操作包装起来,嵌入到SQL查询中统一调用,这就是“函数”(functions)。Flink的TableAPI和SQL同样提供了函数的功能。两者在调用时略有不同:Ta