Nepxion分布式RPC框架

Stella981
• 阅读 565

Nepxion Thuder (QQ 1394997)

代码基地:https://github.com/Nepxion
介绍文档:http://nepxion.iteye.com/

1. 概要

  • 1.1 Thunder是基于Netty + Hessian + ActiveMQ + Tibco + Zookeeper(Curator Framework) + Redis + FST + Spring + Spring Web MVC分布式RPC调用框架。架构思想主要是来自阿里巴巴的Dubbo框架,但比它更轻量级,零配置式实现部署

  • 1.2 Netty是由JBOSS提供的一个Java开源框架,提供异步的、事件驱动的网络应用程序框架和工具,它是基于TCP,UDP协议的传输方式的NIO框架。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.3 Hessian是轻量级的Remoting HTTP框架,提供同步的调用方式。它是基于二进制RPC协议。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.4 Kafka是一种高吞吐量的分布式发布订阅消息系统,非JMS标准,是MQ里面性能最优化的。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.5 ActiveMQ是由Apache出品,最流行的,能力强劲的开源消息总线。它支持JMS1.1和J2EE 1.4规范的 JMS Provider,支持二进制协议(openwire,amqp),文本协议(stomp),物联网协议(mqtt),WebSocket(ws)五种协 议,Spring无缝整合它到框架里面。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用

  • 1.6 TIBCO(NASDAQ:TIBX)是一家有着20年历史的老牌中间件公司,致力于EAI企业应用集成产品和解决方案的领域。在Thunder,实现异步/同步/广播的调用方式,多线程实现调用。由于是商业软件,不提供开发包,请到该公司主页获取免费版开发包

  • 1.7 ZooKeeper是分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应 用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。Thunder利用Apache Curator Framework的衍生组件,实现对Zookeeper的调用

  • 1.8 Redis是一个Key-Value存储系统,异常快速的数据持久化,支持丰富的数据类型,良好的操作原子性,多实用的工具,可以在多个用例如缓存,消 息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数。Thunder利用它做发布/订阅功 能,该功能是对Netty和Hessian的增强

  • 1.9 FST(Fast Serialization)实现的Java快速对象序列化的开发包。序列化速度更快(2-10倍)、体积更小,而且兼容 JDK 原生的序列化

  • 1.10 Spring是轻量级的Java开发框架。Thunder利用Spring AOP技术实现面向切面的动态代理,通过命名空间的自定义标签解析FactoryBean

  • 1.11 Spring Web MVC,Thunder利用它实现和Hessian的整合

  • 1.12 Apache Core,Thunder利用它的异步NIO实现服务治理的数据传送

  • 1.13 Ebay Jetstream,Thunder利用它实现Web版的服务治理

  • 1.14 Google Guava EventBus,Thunder利用它实现事件驱动发布框架内部事件,解除耦合

  • 1.15 Splunk或Storm,Thunder利用它实现日志云管理

  • 1.16 Nepxion Swing Repository,Thunder利用它实现Java Desktop版的服务治理

  • 1.17 Java SPI,Thunder利用它实现服务发现

2. 功能

  • 2.1 Thunder进程又是服务方,也是调用方,互为Server和Client模式,只要在注册中心注册,无论是客户端还是服务端都将是负载均衡的节点

  • 2.2 支持TCP NIO框架(Netty),TCP MQ消息队列框架(Kafka,ActiveMQ,Tibco),HTTP(Hessian)的传输方式,支持多线程调用

  • 2.3 支持同步调用,异步调用Callback,广播通知方式(点对点的发布订阅模式)

  • 2.4 支持基于Spring的简单本地调用方式(显式调用),达到远程调用的目的,RPC调用

  • 2.5 支持服务方应用上下线调用方和服务的自动发现,不用重启调用方应用

  • 2.6 支持心跳和自动重连机制

  • 2.7 支持应用与注册中心Zookeeper重连机制

  • 2.8 支持注册中心的负载均衡的时候,切换到不健康服务方的时候,继续切换功能,并提供尝试切换次数的设定

  • 2.9 支持注册中心的负载均衡,一致性Hash(Consistent Hash)算法,权重轮循算法(Round Robin),随机轮循算法(Random)

  • 2.10 支持授权,基于密钥的服务安全访问,跟Hessian自带的安全认证结合在一起,采用双向密钥匹配方式

  • 2.11 支持接口调用的版本Version控制,版本不匹配拒绝调用,采用双向版本匹配

  • 2.12 支持限流,通过令牌刷新方式,可控制单位时间内接口被调用的次数

  • 2.13 支持升级后,服务中心持久化对象不一致,版本判断,并重新创建

  • 2.14 支持远程配置和调优,管理者可以通过远程配置工具,配置和调优众多分布式的服务提供方和调用方,当然它们既可以使用本地的配置,也可以使用远程配置

  • 2.15 支持统计中心的服务依赖情况(SOA治理)。查看服务方接口所在的地址和端口,所走的协议,所属应用,所属组,以及它暴露的接口方法列表,查看其是否启 动,可动态刷新;查看调用方的所调用的接口,接入的地址,所走的协议,所属应用,所属组,查看其是否接入,可动态刷新

  • 2.16 支持监控中心监控所有的方法调用(耗时、次数、异常等)信息,结合Splunk做动态日志监控,也可以通过第三方WebService分布式接入,做数据统计,通过广播方式,所有接入进来的WebService都将获得统计数据

  • 2.17 提供界面化的服务治理,包括分布式的服务方和调用的分布情况,上下线动态刷新,以及令牌控制,密钥控制,版本控制等功能

  • 2.18 支持四大通信中间件的性能优化,通过独立的配置文件实现,采用局部配置和全局配置的方式,局部配置优先于全局配置

  • 2.19 支持MQ(消息队列)在同一个进程中为服务/调用指定不同的MQ服务器

  • 2.20 支持MQ(消息队列)指定三种Connection或Session的缓存方式(SingleConnectionFactory,CachingConnectionFactory,PooledConnectionFactory)

  • 2.21 支持MQ(消息队列)指定两种初始化方式(JNDI和非JNDI)

  • 2.22 支持MQ(消息队列,主要是Kafka)的异步事件驱动发布框架内部事件

3. 压测

  • 3.1 基于Netty的通讯,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量5949.9/sec

  • 3.2 基于Hessian的通信,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量3124.1/sec

  • 3.3 基于ActiveMQ的通信,在一般的测试环境下,用Apache JMeter工具测试,可以达到吞吐量4212.8/sec

4. 注意

  • 4.1 Thunder的部署
    4.1.1 Thunder进程同时只能支持一种通信方式,在Netty,Hessian,Kafka,ActiveMQ,Tibco任选一
    4.1.2 对于Netty,Kafka,ActiveMQ,Tibco,可以独立运行,也可以运行在Web容器里
    4.1.3 对于Hessian,必须运行在Web容器里,需要配置web.xml,把配置文件指向要hessian-servlet.xml。部署的时候,需要把 Web Module的名字配置成thunder,如果这样则不需要<thunder:protocol id="protocol" type="hessian" path="/thunder"/>配置path了。如果不想这样,必须在xml配置成对应的Web Module名字

  • 4.2 Thunder的负载均衡
    4.2.1 Netty和Hessian属于点对点模式,Thunder提供集群的负载均衡
    4.2.2 Kafka,ActiveMQ和Tibco属于消息队列模式,由MQ服务器自身提供集群的负载均衡

  • 4.3 Thunder的服务地址
    4.3.1 五个中间件都需要配置port端口(host一般缺省为localhost),配置在xml的thunder:application节点
    4.3.2 Netty端口任意配置,但当本地运行多个客户端,端口必须不冲突
    4.3.3 Hessian端口必须指向Web容器的端口,比如8080
    4.3.4 Kafka,ActiveMQ和Tibco的地址和端口配置thunder-ext.properties,即ActiveMQ服务器地址。在xml里面 仍需配置端口,但任意配置,端口的作用是当本地运行多个客户端,端口作为唯一消息队列的区别码,端口必须不冲突

  • 4.4 Thunder发布/订阅功能(广播功能)
    4.4.1 Netty,Hessian是点对点的调用,Thunder采用Redis做发布/订阅功能(广播功能)。如果没配置Redis,Thunder将取注册中心的服务列表,采用循环(Round)方式进行广播
    4.4.2 Kakfa,ActivMQ和Tibco本身具有发布/订阅功能(广播功能)

  • 4.5 Thunder同步调用方法的超时
    4.5.1 Netty,Kafka,ActivMQ和Tibco支持每个调用方法的超时支持,如果在<thunder:reference timeout="xxx">里面没配置,那么会调用thunder.properties获取默认配置,也可以自定义thunder- ext.properties覆盖掉默认的配置
    4.5.2 Hessian受限于其本身技术,不支持每个调用方法的超时,但支持全局的超时机制

  • 4.6 Thunder监控
    4.6.1 Netty,Kafka,ActivMQ和Tibco支持后台监控
    4.6.2 Hessian受限于其本身技术,不支持后台监控

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
3年前
swap空间的增减方法
(1)增大swap空间去激活swap交换区:swapoff v /dev/vg00/lvswap扩展交换lv:lvextend L 10G /dev/vg00/lvswap重新生成swap交换区:mkswap /dev/vg00/lvswap激活新生成的交换区:swapon v /dev/vg00/lvswap
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这