Flink集群Standalone启动脚本(源码分析)

Stella981
• 阅读 643

整个Flink集群的角色分为Jobmanager和TaskManager

以Standalone为例来看一下脚本里面是怎样启动集群的

找到源码的dist这里面包含了启动的脚本文件

Flink集群Standalone启动脚本(源码分析)

standalone模式下我们通过start-cluster.sh这个脚本启动

来看下里面具体做了什么

Flink集群Standalone启动脚本(源码分析)

在最后调用了jobmanager.sh start 这个脚本和config.sh  中的TMSlaves 这个方法,分别启动了jobmanager和taskmanager

先看一下Jobmanager

在jobmanager.sh中导入了一些配置文件参数以外,脚本在最后执行了

Flink集群Standalone启动脚本(源码分析)

Flink集群Standalone启动脚本(源码分析)

到了这个文件flink-daemon.sh 

Flink集群Standalone启动脚本(源码分析)

Flink集群Standalone启动脚本(源码分析)

可以看到已经找到这样一个jobmanager的入口类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint 了(1.6之前这里有较大的变化,详细的可以自己去研究一下)

后面就是jobmanager的具体启动了

现在在来看看TaskManager的启动方法config.sh 中 TMSlaves start

Flink集群Standalone启动脚本(源码分析)

taskmanager.sh中

Flink集群Standalone启动脚本(源码分析)

Flink集群Standalone启动脚本(源码分析)

这里就和jobmanager的一样了,到了daemon.sh

Flink集群Standalone启动脚本(源码分析)

这就是taskmanagaer的入口类org.apache.flink.runtime.taskexecutor.TaskManagerRunner了

整个集群jobmanager和taskmanager就启动起来了

后面角色的具体启动后期会随缘更新

来看一下window下的启动

Flink集群Standalone启动脚本(源码分析)

Flink集群Standalone启动脚本(源码分析)

可以看到也差不多,都是走的这两个类作为启动类

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
RAC环境单实例启动数据库收到ORA
     在RAC环境中,如果你在没有启动节点的集群服务的情况下单实例启动数据库,将收到类似如下的报错:\oracle@rhel1u01\$sqlSQL\Plus:Release10.2.0.5.0ProductiononTueApr215:00:272013Copyright(
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Stella981 Stella981
3年前
Flink的JobManager启动(源码分析)
都知道Flink中的角色分为Jobmanager,TaskManger在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接在Driver端的env.exection()直接启动了,有兴趣可以
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这