Schedulis
0.6.0 版本发布
Schedulis****0.6.0
Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。
开源链接:
https://github.com/WeBankFinTech/Schedulis
Schedulis 0.6.0新版本特性
01
特性增强
调度策略/功能扩展
新增工作流循环执行调度策略,支持工作流串行循环执行,同时支持丰富的失败和告警策略,适用于需要一直不间断跑批的工作流。
新增历史批次重跑的调度策略,支持工作流基于历史日期或者历史的某一时间段进行重跑,同时提供了丰富的时间配置方式,高效的并发能力,以及告警方式。
新增多个维度的调度开关,系统级别的开关可关闭整个系统的调度功能,工作流级别的调度开关可对某一个工作流关闭调度。
工作流参数
支持在工作流运行时将某一个运行时的参数展示在页面上的执行历史表格内,方便区分同名工作流的不同批次。
系统内置变量定义方式支持在properties中定义和使用。
UI交互优化
支持快速检索用户日志中的LinkisJobId和YARNId。
支持对工作流结构图进行一键放大,优化对工作流进行编排,显示时间信息。
02
Bug修复
修复在使用email告警的时候,页面配置告警邮箱不生效的问题。
修复opendj 相关包在打包的时候无法打入依赖的问题。
03
未来展望
Schedulis0.6.0版本,重点解决了现有版本在工作流调度策略上的不完善,提供了历史重跑,循环执行两种调度策略,同时在参数定义展示上、调度功能上更加方便灵活,优化了现有UI在工作流中作业比较多的情况比较拥挤的情况; 在后续的版本中,我们将会提供事件驱动,动态任务分片等高级特性,同时在架构上对现有系统进行优化,在易用性,故障转移,弹性伸缩等能力上推出更多的容器化特性,丰富云原生场景,希望可以和社区同学们一道共同努力,共同为Schedulis贡献。
04
云资源
项目jobtype插件的依赖和配置,打包下载链接: https://pan.baidu.com/s/1V0pyhzwRCNdVgDhkNYWUhQ
提取码: hcnk (由于文件较大,所以放在网盘进行管理)
扫码或点击“阅读原文”进入GitHub
WeDataSphere,BIG DATA MADE EASY.
用心做一个有温度的开源社区
欢迎关注
扫码关注我们
微信号公众号 : WeDataSphere
GitHub:WeDataSphere
如果喜欢我们的产品或文章,请给我们的GitHub点上你宝贵的star和fork哦~~
本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。