Stella981 Stella981
3年前
Flink及Storm、Spark主流流框架比较
转自:http://www.sohu.com/a/142553677\_804130(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.sohu.com%2Fa%2F142553677_804130)引言随着大数据时代的来临,大数据产品层出不穷。我们最近也对一款业内非常火的大
Wesley13 Wesley13
3年前
2020大数据面试题真题总结(附答案)
版本更新时间更新内容v1.020200701新建v1.120200613朋友面试大数据工程师提供的关于架构及数仓方面的题目v1.220200808朋友面试数据专家提供的数据驱动,spark及flink方面面试题v1.320200822朋友面试数据开发提供的关于hive及数仓方面的题目
Stella981 Stella981
3年前
Flink 参数配置和常见参数调优
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/eb1a5980e9599858816241a2e2aafceb83f.jpg)!(https://oscimg.oschina.net/oscnet/248e03d41a7cac7aae52
Stella981 Stella981
3年前
Flink 助力美团数仓增量生产
简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我
Stella981 Stella981
3年前
Flink 双流 Join 的3种操作示例
在数据库中的静态表上做OLAP分析时,两表join是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做join以获得更丰富的信息。FlinkDataStreamAPI为用户提供了3个算子来实现双流join,分别是:join()coGroup()intervalJoin()本文举例说明它们的使
Stella981 Stella981
3年前
Flink 系例 之 TableAPI & SQL 与 示例模块
官方介绍Flink中的APIFlink为流式/批式处理应用程序的开发提供了不同级别的抽象。 !(https://oscimg.oschina.net/oscnet/upeb75f272e09db3f4fedc012d7b0fab6ec7b.png)FlinkAPI最底层的抽象为有状态实时流处理。其
Stella981 Stella981
3年前
Flink On K8S终极实现方案
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/b57cfdcf4f114dff89282b2451a4f8a8.jpg)!(https://oscimg.oschina.net/oscnet/76b50b304d0c42e0
Stella981 Stella981
3年前
Flink实时构建倒排索引与全文检索
!(https://oscimg.oschina.net/oscnet/077ed19b13d84bbcbe4b0244c8d0f50f.jpg)对于搜索引擎,大家不会感到陌生,我们每天都在用。我们在百度、谷歌上搜索我们想要的信息。比如,在输入框里输入关键字查询后,会返回很多和关键字相关的内容。或者在电商网站输入想
hive 、spark 、flink之想一想
hive1:hive是怎么产生的?2:hive的框架是怎么样的?3:hive执行流程是什么?4:hivesql是如何把sql语句一步一步到最后执行的?5:hivesql任务常用参数调优做过什么?spark6:spark是怎么产生的?7:spark框架是怎么