LogStash6.3——新Java执行引擎概览与简单评测

Stella981
• 阅读 456

LogStash新的Java执行引擎已经进入了待发布阶段了。他的主要特性有:

  • 更少的内存使用
  • 更高的性能
  • 更少的启动配置信息
  • 更快的配置重载时间

现在可以在LogStash6.3.0 版本使用 --experimental-java-execution 来尝鲜。

下面是性能测试的对比,来看看用JRuby执行器和Java执行器的性能差多远

LogStash6.3——新Java执行引擎概览与简单评测

LogStash6.3——新Java执行引擎概览与简单评测

从上述图表我们可以得出如下几个结论:

  • 如果是6.1以上版本的LogStash,请启用Java执行器,能获得更高的性能
  • 6.3版本的LogStash性能比6.1的要好,所以,请升级到最新的版本

Java执行引擎的性能提升原因有如下两个:

  • 第一:使用了全新的配置解析和字节码生成技术。原始的Ruby执行引擎使用TeeTopp读取配置,然后把配置转换为Ruby源代码,再交给JRuby解析和执行。而Java执行引擎将Ruby源码生成阶段换成了Janio直接编译成JVM字节码了。所以性能得到了大幅的改善

  • 第二:由于Ruby的动态语言特性,导致JRuby代码到Java代码调用的时候是有较大的性能开销的,在一些性能敏感的环境下这不是一个好的选择。这也是为什么编译为JVM字节码后会获得更好的性能

Java执行引擎退出后,还会有LogStash Java 插件,终于不用写Ruby插件了....


接下来是尝鲜时间,我们简单的对比一下一个普通的输入和输出,用JRuby执行引擎和Java执行引擎占用的内存差多少(咦?人家说的是执行性能更好,好像也没说占用内存更少的样子咧,这样测试真的好么)

首先用最简单的方法启动一下LogStash(为了避免影响,用的全是默认配置,什么都没改动),JRuby引擎

./logstash -e 'input { stdin { } } output { stdout {} }'

LogStash6.3——新Java执行引擎概览与简单评测

启动的那个慢,启动了20秒...真是不忍直视,话说就启动个标准输入和输出,就683.4M真的好么

接下来换新的Java执行引擎看看会不会飞,第一次启动,喵喵喵?19s....启动也没快多少嘛,哈哈哈,676.9M...少年你真的不是和我开玩笑么。

LogStash6.3——新Java执行引擎概览与简单评测

总的来说,虽然有了新的Java执行引擎,吞吐量虽然是上去了,但是资源占用还是不忍直视,客户端部署依然不推荐使用LogStash,还是用Beats吧,什么?AIX环境?少年我有资源占用率130M左右的ReCollector啊,Java编写,性能稳定,资源占用量少(别别...等我说完再把我拖走.....) LogStash6.3——新Java执行引擎概览与简单评测

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
Java日期时间API系列31
  时间戳是指格林威治时间1970年01月01日00时00分00秒起至现在的总毫秒数,是所有时间的基础,其他时间可以通过时间戳转换得到。Java中本来已经有相关获取时间戳的方法,Java8后增加新的类Instant等专用于处理时间戳问题。 1获取时间戳的方法和性能对比1.1获取时间戳方法Java8以前
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
Java日期时间API系列30
  实际使用中,经常需要使用不同精确度的Date,比如保留到天2020042300:00:00,保留到小时,保留到分钟,保留到秒等,常见的方法是通过格式化到指定精确度(比如:yyyyMMdd),然后再解析为Date。Java8中可以用更多的方法来实现这个需求,下面使用三种方法:使用Format方法、 使用Of方法和使用With方法,性能对比,使用
Java服务总在半夜挂,背后的真相竟然是... | 京东云技术团队
最近有用户反馈测试环境Java服务总在凌晨00:00左右挂掉,用户反馈Java服务没有定时任务,也没有流量突增的情况,Jvm配置也合理,莫名其妙就挂了
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这