个推TechDay直播回顾 | 分享基于Flink的实时数仓搭建秘诀!附课件下载√
近日,个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动(个推)的资深数据研发工程师为大家详细解读了实时数仓架构演进,分享了实时数仓的技术选型要点,并结合实战案例详细剖析实时数仓搭建秘诀。当下,企业的实时计算需求越来越高频。比如很多
Easter79 Easter79
3年前
TiKV + Flink = 最佳人气流批一体库|TiDB Hackathon 2020 优秀项目分享
近日,由TiDB社区主办,专属于全球开发者与技术爱好者的顶级挑战赛事——TiDBHackathon2020比赛圆满落幕。今年是TiDBHackathon第四次举办,参赛队伍规模创历届之最,共有45支来自全球各地的队伍报名,首次实现全球联动。经过2天时间的极限挑战,大赛涌现出不少令人激动的项目。为了让更多小伙伴了解这些参赛团队背后
Stella981 Stella981
3年前
Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!
在2020年,你的数据仓库和基础设施需要满足哪些需求?我们总结了几下几点:首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(realtime)或近实时(nearrealtime)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的
Stella981 Stella981
3年前
Flink 1.8.0中的状态生存时间特性:如何自动清理应用程序的状态
对于许多状态流式计算程序来说,一个常见的需求是自动清理应用程序的状态(state),以便有效地控制状态大小,或者控制程序访问状态的有效时间(例如受限于诸如GDPR等法律条规)。ApacheFlink自1.6.0版本引入了状态的生存时间(timetolive,TTL)功能,使得应用程序的状态清理和有效的状态大小管理成为可能。在本文中,我们将讨论引入状