thrift详解

Easter79
• 阅读 917

背景

thrift最早由facebook开发,后来贡献给了apache。thrift主要解决跨语言调用的问题。

thrift和protobuf有啥区别?

thrift和protobuf,都解决了一个问题就是夸语言数据结构的定义,json也解决了跨语言的数据结构定义,只不过json都是字符串的,传输的开销和解析的开销可能有些大。那么想传输二进制的话怎么办呢,可以自己定义数据结构,比如大家熟知的网络协议就是这么定出来的,前1个字节代表啥啥啥,第二个字节代表啥啥啥,然后客户端和服务端都遵守这个协议。在没有thrift或者profobuf之前好多cs程序就是这么干的。但是这么干很累啊,还得写文档,而且开发时候也不好记,不好交流。后来人们想出了个办法,就是用一个类似json格式的文件定义数据结构,然后自动生成代码去处理二进制的转换,这样人们既可以用好读的格式定义数据结构,又可以高效的使用,于是就诞生了protobuf和thrift这类东西。protobuf到此为止了,thrift又把服务端程序和客户端程序也顺手加进去可以自动生成了,这样程序员就只负责写业务逻辑,其他的传输啊神马的都自动生成了,这就是protobuf和thrift的区别。这样thrift就有了全套的RPC机制,

为什么要跨语言调用?

有人认为是团队需要,不同的人擅长不同的语言,我认为从架构的角度想,有2点好处

  1. 用适合的语言做适合的事情,比如一些复杂算法的部分,c语言比较合适,性能高冗余的事情干的少,PHP的话可能性能就慢很多,这时候可以考虑跨语言调用
  2. 对于大型项目的团队间的解耦,在大公司中可能不同的功能并不是一个组完成的,可能会跨组甚至跨部门,这时候把一个功能以服务的形势对其他部门提供,是一种比较好的方式。

为什么不直接用HTTP json交互多方便?

是的,可以用json,好多api都是用json形式的,现在也流行REST,其实也是蛮方便的,但是有几个缺点

  1. 不管用什么语言吧,都得有个http服务,java和php还好,像c这种就有点费劲。
  2. json很灵活,也好改,但是需要有良好的文档,自己用非常好,大团队可能会有些沟通上的问题,起码文档要写清楚json各个字段含义,值可能有哪些类型,不然你就给人家一个url说这个就是xxx的api,人家对接如果没文档基本是不可能接的了的。
  3. 鉴权和验签问题,之前做网站的get请求可以不考虑调用者的身份问题,因为反正给人家看的嘛,谁看不一样。但是作为api的时候特别是涉及增删改的时候,调用者的身份问题就得考虑了,不能谁都能调啊,所以一般http的api都要设计个签名规则,对接的人得按照你的验签规则去写程序,通常这是对接时候比较耗时和容易出问题的地方。 1.从传输量大小上,不如二进制省空间,对于

安装

thrift的安装分两部分

  1. 是thrift本身
  2. 是语言包

安装thrift 编译器

这个其实没必要编译安装的,直接下载windows版的就行。 在linux上编译安装也还比较好装,但是可能会缺这缺那,缺啥用yum装即可

./configure
make
make install

安装语言lib

语言包都在源码的lib目录下,所以下载linux版本才有,windows版本那个只是个编译好的thrift编译器

比如java

cd thrift源码/lib/java
ant
会生成libthrift-0.9.3.jar

再比如python

cd thrift源码/lib/py
python setup.py install

使用步骤:

  1. 准备:thrift编译器,服务端、客户端语言的lib

  2. 写thrift文件

    service HelloService{ string sayHello(1:string username) }

然后用thrift编译:

  • thrift.exe -r -gen java hello.thrift
  • thrift.exe -r -gen php hello.thrift
  • thrift.exe -r -gen py hello.thrift 要啥语言就生成啥
  1. 写实现

    import org.apache.thrift.TException;

    public class helloImp implements HelloService.Iface {
    
        @Override
        public String sayHello(String username) throws TException {
            System.out.println(username);
            return username;
        }
    
    }
    

这里这个HelloService就是thrift生成的java文件 3. 写服务端

    import org.apache.thrift.TProcessor;
    import org.apache.thrift.protocol.TBinaryProtocol;
    import org.apache.thrift.server.TServer;
    import org.apache.thrift.server.TSimpleServer;
    import org.apache.thrift.transport.TServerSocket;
    import org.apache.thrift.transport.TTransportException;

    public class Server  {
        
        public void start()
        {
            TProcessor tpProcessor = new HelloService.Processor<HelloService.Iface>(new helloImp());
            TServerSocket serverTransport;
            try {
                serverTransport = new TServerSocket(8889);
                TServer.Args args = new TServer.Args(serverTransport);
                args.processor(tpProcessor);
                args.protocolFactory(new TBinaryProtocol.Factory());
                TServer server = new TSimpleServer(args);
                System.out.println("thrift server start");
                server.serve();
                
            } catch (TTransportException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
         
        }
        
        public static void main(String[] args) {
            Server server = new Server();
            server.start();
        }

    }

4.写客户端 以python为列子

import sys
import glob

from hello import HelloService

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

# Make socket
transport = TSocket.TSocket('localhost', 8889)

# Buffering is critical. Raw sockets are very slow
transport = TTransport.TBufferedTransport(transport)

# Wrap in a protocol
protocol = TBinaryProtocol.TBinaryProtocol(transport)

# Create a client to use the protocol encoder
client = HelloService.Client(protocol)

# Connect!
transport.open()


rs = client.sayHello('luyu')

print rs

其他语言版本怎么写????

在源码的tutorial目录下有各种语言的例子

持续更新 未完待续...

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
Apache Thrift的使用
Thrift是什么,看这里:http://thrift.apache.org/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fthrift.apache.org%2F)1.从官网下载thrift  Thrift官网:http://thrift.apache.org/(
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Easter79
Easter79
Lv1
今生可爱与温柔,每一样都不能少。
文章
2.8k
粉丝
5
获赞
1.2k