转载

Protobuf原理分析小结

1、什么是Protobuf

Protobuf是一个网络通信协议,提供了高效率的序列化和反序列化机制,序列化就是把对象转换成二进制数据发送给服务端,反序列化就是将收到的二进制数据转换成对应的对象。

2、Protobuf消息结构

img

image.png

使用以Java为例:

byte[] data = Test.newBuilder()
  .setA(3).setB(2).setC(1)
  .build().toByteArray();

上面对Protobuf的定义,比如:

int32 a = 1;

这个定义不是赋值,它只是定义了a字段的tag,tag包含了数据类型(int32)和字段序号(1),真正的赋值的在使用的时候,比如上面的Java代码。
序列化之后的数据相当于Key-Value形式,T-V:

img

image.png

其中,tag有三个作用,一个保证字段不重复,二是保证它是数据流中的位置,三是标记了数据类型。所以,tag是由fieldNumber和wireType组成,fieldNumber保证了字段不重复和它是数据流中的位置,wireType标记了数据类型。

3、Protobuf优点

体积小、效率高;
使用简单、兼容性好、维护简单;
加密性好;
跨平台。

兼容性好

使用Json的时候,有这么一种情况,某个字段值为null或者某个key为null时,Android或IOS相应的Json解析库可能会报错,而Protobuf很好的解决了这问题。

比如,Json序列化的时候,二进制信息如下:

img

image.png

这种定义,可以对数据顺序写入,然后再顺序读取,这样带来一个问题就是,某些字段没有赋值的情况下,不得不传一个默认值,假如field2没有赋值,那么整个解析包偏移量都会出错,最终整个包的数据读不出。

而Protobuf引入了Tag,解决了这个问题:

img

image.png

每个field都是由tag和value组成,解析的时候,先读tag,然后通过tag知道value的数据类型,再获取value,写的时候也是一样,先写入tag再写入value。

因为每个field都定义了tag,如果field没有赋值,编码的时候tag不会被写入流中,相应的也不会有它的Value,相对应的解析的时候,如果数据中没有这个field的tag,可以直接无视,读取其他field。

比如上述的常规定义的的二进制信息,在field2没有赋值的情况下,protobuf可以这样:

img

image.png

还有另外一种兼容的情况,比如:message需要增加一个字段,如果客户端没有升级,服务端升级了,这个时候客户端是旧的message,服务端用的是新的message。

客户端的旧的message:

img

image.png

服务端的新的message:

img

image.png

这样子,客户端接收到服务端发送过来的数据流是这样的:

img

image.png

而当客户端解析这数据的时候,发现数据流里面有个tag为3,但是在客户端的协议里找不到对应的tag,然后通过数据流这个tag,这点了它是数据类型是int64,所以知道了这个tag的值占了8个字节,于是Protobuf就会跳过这8个字节,继续解析后面的数据。

效率高、体积小

Protobuf之所以效率比Json、XML高,是因为内部采用了很巧妙的编码方式,来达到数据压缩的目的,比如:
对于 int32类型的数字,一般需要4个字节表示,比如1和300:

00000000 00000000 00000000 00000001 //1
00000000 00000000 00000001 00101100 //300

而通过Protobuf压缩之后是这样的:

00000001 //1
10101100 00000010 //300

Varint编码

原理:值越小的数字,使用越少的字节数表示
作用:通过减少表示数字的字节数从而进行数据压缩
Varint编码高位有特殊含义:如果是1,表示后续的字节也是该数字的一部分,如果是0,表示这是最后一个字节,且剩余7位都用来表示数字。

举例下Varint编码和解码过程:
客户端发送300给服务端,通过Protobuf编码过程:
首先300的源数据是:

00000000 00000000 00000001 00101100

前面两个字节没有意义,Varint会丢掉前面两字节,这里标记为字节0变成:

 00000001 00101100

然后从字节0的尾部开始,取7位,变成新字节1,并在最高位补1,最高位补1还是0,取决于后面还有没有字节,字节1为:

10101100

然后继续在字节0中取7位,标记为字节2,由于这次取完后面已经没有字节了,所以字节2高位为0:

00000010

最后,最终编码后的数据变成字节1+字节2:

10101100 00000010

以上就完成了Varint对300编码,接下来看下服务端接收到编码后的数据怎么解析:
首先,接收到的数据是:

10101100 00000010

首先分析下这段数据,有两个字节,每个字节的最高位只是标记的作用,1代表后面的字节是数字的一部分,0表示这个字节是最后一个字节了,所以去掉各自的最高位,变成:

0101100 0000010

然后Varint会将字节调转,变成:

0000010 0101100

对比300的源数据:

 0000010 0101100
 00000000 00000000 00000001 00101100

调转后的数据:256+32+8+4 = 300

4、实际例子

定义Protobuf:

message person
 { 
    int32   id = 1;  
    // wire type = 0,field_number =1 
    string  name = 2;  
    // wire type = 2,field_number =2 
  }

person.setId(1);
person.setName("testing");

上面的wire type的值,Protobuf内部已经定义好了:

img

image.png

首先分析字段 int32 id = 1:

由于是int32类型,所以数据是tag-value形式:

tag:

表达式:Tag = (field_number << 3) | wire_type
字段int32 id = 1的field_number为1,左移三位变成:

00001000

然后数据类型是int32,所以 wire_type为0,则最终得出的tag为:

00001000

value:

根据Varint编码,变成1字节:

00000001

最终

字段 int32 id = 1变成:

00001000 00000001    //即8 和 1

然后分析字段 string name = 2:

由于是string类型,所以是tag-length-value形式,value采用UTF编码

tag:

field_number为2,左移3位:

00010000

string类型wire type为2,最终tag为:

00010010

Value:

上面的例子是字符串testing,经过UTF8编码后,变成:

116,101,115,116,105,110,103

Length

value的长度,所以是7,即00000111

最终

数据为:

00010010  00000111  116,101,115,116,105,110,103

5、总结

序列化、反序列化简单、速度快的原因是:

编码 / 解码 方式简单(只需要简单的数学运算 = 位移等等)

数据压缩效果好(即序列化后的数据量体积小)的原因是:

采用了独特的编码方式,如Varint、Zigzag编码方式等等

兼容性高的原因:

采用T - L - V 的数据存储方式

参考资料:
https://blog.csdn.net/zxhoo/article/details/53228303
https://blog.csdn.net/carson_ho/article/details/70568606

作者:Dane_404
链接:https://www.jianshu.com/p/522f13206ba1
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

正文到此结束