Google Protobuf Java API详解

Stella981
• 阅读 1363

参考之前的教程:https://my.oschina.net/pierrecai/blog/873359 即可顺利构建出使用Protobuf进行序列化/反序列化所需的java类。

本文将更详细地讲解Google Protobuf提供的Java API,即我们可以通过生成的java类做什么。

1、Maven依赖

想要正常地使用生成的Java类,我们需要导入protobuf的依赖:

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.1.0</version>
</dependency>

2、Protobuf Java API

本文以GPS信号为例,Gps.proto文件如下:

syntax = "proto2";

option java_package = "com.test.bean";
option java_outer_classname = "AddressBookProtos";

message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}

2.1、Builders 和 Messages

使用Protobuf生成的每一个java类中,都会包含两种内部类:Msg和Msg包含的Builder。(.proto文件中定义的每一个message都会生成一个Msg,每一个Msg都对应一个Builder)

在上面的GPS信号的例子中,是下面的几个类:

AddressBookProtos.AddressBook、AddressBookProtos.Person、AddressBookProtos.Person.PhoneNumber

AddressBookProtos.AddressBook.Builder、AddressBookProtos.Person.Builder、 AddressBookProtos.Person.PhoneNumber.Builder

这两个类提供不同的API。具体来说:

  • Builder提供了构建类、查询类的API(set、get、has、clear等方法)
  • Msg提供了查询、序列化、反序列化的API(不提供set方法)

固在使用时,我们一般遵循以下程序:

  • 使用Builder构建Msg
  • 使用Msg生成字节流
  • 接收字节流,使用Msg反序列化生成Msg实例
  • 读取Msg实例

2.1.1、使用Builder构建Msg

Builder的每一个set、add方法都返回了一个Builder实例,所以可以像“程序流”一样使用Builder,如下:

public class Main {
    public static void main(String[] args) {
        //使用builder构建一个Person对象
        AddressBookProtos.Person john =
                AddressBookProtos.Person.newBuilder()
                        .setId(1234)
                        .setName("John Doe")
                        .setEmail("jdoe@example.com")
                        .addPhones(
                                //内部类PhoneNumber同样使用其Builder构建,但是注意,不需要调用build()方法
                                AddressBookProtos.Person.PhoneNumber.newBuilder()
                                        .setNumber("555-4321")
                                        .setType(AddressBookProtos.Person.PhoneType.HOME))
                        //build()结束整个程序流,返回Person对象
                        .build();
        System.out.println(john);
    }
}

同时需要注意到Builder和Msg提供的API的差异:

//Msg只提供了get和has方法
String email = john.getEmail();
boolean hasEmail = john.hasEmail();

//而builder提供了add/set、get、has和clear方法
AddressBookProtos.Person.Builder builder = AddressBookProtos.Person.newBuilder();
builder.setEmail("jdoe@example.com");
boolean hasEmail1 = builder.hasEmail();
String email1 = builder.getEmail();
builder.clearEmail();

除此之外,Builder和Msg都提供了isInitialized()方法,用于检查是否所有的required字段都已经设置。

2.1.2、使用Msg进行序列化、反序列化

所有的Msg类(注意,如之前所提及,在我们的例子中,有三个Msg类)都提供了序列化和反序列化方法,包括:

序列化:

  • byte[] toByteArray():生成字节数组
  • void writeTo(OutputStream output):序列化并写入到指定的输出流中

反序列化:

  • static Person parseFrom(byte[] data):解析二进制数组,反序列化出指定对象
  • static Person parseFrom(InputStream input):解析输入流,反序列化出指定对象

例如:

public class Main {
    public static void main(String[] args) {
        //使用builder()Msg类
        AddressBookProtos.Person john =
                AddressBookProtos.Person.newBuilder()
                        .setId(1234)
                        .setName("John Doe")
                        .setEmail("jdoe@example.com")
                        .addPhones(
                                AddressBookProtos.Person.PhoneNumber.newBuilder()
                                        .setNumber("555-4321")
                                        .setType(AddressBookProtos.Person.PhoneType.HOME))
                        .build();
        try {
            //序列化
            byte[] bytes = john.toByteArray();
            //反序列化
            System.out.println(AddressBookProtos.Person.parseFrom(bytes));
        } catch (InvalidProtocolBufferException e) {
            e.printStackTrace();
        }
    }
}

如果希望使用流的话,调用流的api即可,这里不再举例。

2.2、拼接两个Msg

所有的Builder类都提供了一个特殊的方法:mergeFrom(Message other)。

这个方法会:

  • 对于单字段,会用other的对应字段覆盖原msg

  • 对于复合字段,会进行融合

  • 对于repeated字段,会拼接列表

    public class Main { public static void main(String[] args) { //使用builder()Msg类 AddressBookProtos.Person john = AddressBookProtos.Person.newBuilder() .setId(1234) .setName("John Doe") .setEmail("jdoe@example.com") .addPhones( AddressBookProtos.Person.PhoneNumber.newBuilder() .setNumber("555-4321") .setType(AddressBookProtos.Person.PhoneType.HOME)) .build(); AddressBookProtos.Person cai = AddressBookProtos.Person.newBuilder() .setId(1234) .setName("CAI") .setEmail("CAI@test.com") .addPhones( AddressBookProtos.Person.PhoneNumber.newBuilder() .setNumber("12345678") .setType(AddressBookProtos.Person.PhoneType.HOME)) .build(); AddressBookProtos.Person merge = john.toBuilder().mergeFrom(cai).build(); System.out.println(merge); } }

最后会输出:

name: "CAI"
id: 1234
email: "CAI@test.com"
phones {
  number: "555-4321"
  type: HOME
}
phones {
  number: "12345678"
}

单独的字段被覆盖,而列表会拼接。

3、使用Protobuf进行永久存储

有时候我们希望把一些数据以二进制的形式永久存储,以压缩其占据的空间。这时,码流的压缩程度、文件的读写速度、码流的错误率等都是我们需要考虑的问题。

Java自带的API,一方面在序列化的效率、码流的压缩程度上表现不佳,另一方面在文件读取方面也乏善可陈。而Protobuf提供了高效的压缩、写入和读取的API。

3.1、写入流和读取解析流

写入文件主要使用的方法是:

writeDelimitedTo(OutputStream output)

这个方法和 writeTo(OutputStream)类似,但是他会在写入数据之前,先以一个varint写入整个消息体的长度。这样我们在解析时,就可以方便地读取出数据,也可以验证数据的完整性。

读取文件主要使用的方法是:

parseDelimitedFrom(InputStream in)

这个方法对应的,会在解析之前,先读取一个varint,看整个消息体的长度,然后再进行读取。使用这个方法读取的效率非常高(亲测比直接使用BufferedInputStream要快的多),但同时也会占据更多的内存

例如:

public class Main {
    public static void main(String[] args) {
        //使用builder()Msg类
        AddressBookProtos.Person john =
                AddressBookProtos.Person.newBuilder()
                        .setId(1234)
                        .setName("John Doe")
                        .setEmail("jdoe@example.com")
                        .addPhones(
                                AddressBookProtos.Person.PhoneNumber.newBuilder()
                                        .setNumber("555-4321")
                                        .setType(AddressBookProtos.Person.PhoneType.HOME))
                        .build();
        File file = new File("persons.data");
        OutputStream outputStream = null;
        //先写入文件
        try {
            outputStream = new FileOutputStream(file);
            for (int i = 0; i < 100; i++) {
                john.writeDelimitedTo(outputStream);
            }
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                outputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        InputStream inputStream;
        //读取文件
        try {
            inputStream = new FileInputStream(file);
            AddressBookProtos.Person person = AddressBookProtos.Person.parseDelimitedFrom(inputStream);
            System.out.println(person);
            int count = 1;
            while (inputStream.available()!=0){
                person = AddressBookProtos.Person.parseDelimitedFrom(inputStream);
                count++;
            }
            System.out.println(count);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

当然在大文件读写的时候,还需要注意及时清理内存,这里不再赘述。

4、和JSON格式相互转换

在web项目中,和前台交互时,我们通常还是使用JSON格式。这就要求我们能在protobuf和json之间进行转换。

注意:

  • 没有测试过,使用protobuf的JSON API是否会比常用的fastJson、Jackson等等更快,其效率可能更低
  • 如果不使用protobuf提供的JSON API,而使用fastJson等,直接序列化Msg对象,会报错。如果希望使用第三方的JSON API,可以重新定义一个实体类,抽取需要的字段

4.1、依赖

这里需要导入额外的依赖:

<!-- https://mvnrepository.com/artifact/com.google.protobuf/protobuf-java-util -->
<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java-util</artifactId>
    <version>3.1.0</version>
</dependency>

4.2、使用

public class Main {
    public static void main(String[] args) {
        //使用builder()Msg类
        AddressBookProtos.Person john =
                AddressBookProtos.Person.newBuilder()
                        .setId(1234)
                        .setName("John Doe")
                        .setEmail("jdoe@example.com")
                        .addPhones(
                                AddressBookProtos.Person.PhoneNumber.newBuilder()
                                        .setNumber("555-4321")
                                        .setType(AddressBookProtos.Person.PhoneType.HOME))
                        .build();
        //获取Printer对象用于生成JSON字符串
        JsonFormat.Printer printer = JsonFormat.printer();
        //获取parser对象用于解析JSON字符串
        JsonFormat.Parser parser = JsonFormat.parser();
        try {
            //生成JSON字符串
            String jsonStr = printer.print(john);
            System.out.println(jsonStr);
            //解析JSON字符串
            //解析方法接收一个JSON字符串,并把其写入指定的builder
            AddressBookProtos.Person.Builder builder = AddressBookProtos.Person.newBuilder();
            parser.merge(jsonStr,builder);
            AddressBookProtos.Person person = builder.build();
            System.out.println(person);
        } catch (InvalidProtocolBufferException e) {
            e.printStackTrace();
        }
    }
}
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
3年前
swap空间的增减方法
(1)增大swap空间去激活swap交换区:swapoff v /dev/vg00/lvswap扩展交换lv:lvextend L 10G /dev/vg00/lvswap重新生成swap交换区:mkswap /dev/vg00/lvswap激活新生成的交换区:swapon v /dev/vg00/lvswap
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Docker 部署SpringBoot项目不香吗?
  公众号改版后文章乱序推荐,希望你可以点击上方“Java进阶架构师”,点击右上角,将我们设为★“星标”!这样才不会错过每日进阶架构文章呀。  !(http://dingyue.ws.126.net/2020/0920/b00fbfc7j00qgy5xy002kd200qo00hsg00it00cj.jpg)  2
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这