解密Protobuf：高效数据传输的秘密武器

标签：Protobuf proto 秘密武器使用类型数据传输序列化定义

简介

Protocol Buffers(简称Protobuf)是由Google开发的一种用于数据序列化技术。与传统的XML和JSON相比，Protobuf具有更高的性能和更小的消息体积，特别适用于需要高效数据交换的场景

特点

速度快：Protobuf在序列化与反序列化数据时速度极快
占空间小：Protobuf序列化后的二进制数据非常小，可节省大量的存储和带宽
跨平台：Protobuf支持多种编程语言(常见的几乎都支持)，兼容性好
易扩展：使用.proto文件定义数据结构(包括字段类型、默认值和验证规则等)，添加新内容时，也可以轻松做到，不会破坏现有系统
简单易用：只需专注.proto数据结构文件的编写，对应的序列化与反序列化代码可自动生成

使用场景

分布式系统：各服务之间需要频繁地进行数据交换，Protobuf可以显著提高通信效率
存储和持久化：Protobuf能节省很多存储空间，常用于日志记录、配置文件和数据持久化
移动应用：在网络带宽和存储空间有限的情况下，Protobuf能更好地提高性能

Proto

proto是protobuf定义数据结构的一种格式，用.proto后缀的文件保存，使用proto编译器可以把对应的proto结构编译为各目标语言的序列化与反序列化代码库

简单的使用模拟

使用proto语法(规则)定义我们的数据结构，保存在.proto后缀的文件内
使用proto编译器编译.proto文件，指定要编译成目标语言环境(Java、Python等)
- 结果将会生成对应语言的一个代码文件(内包含对应数据序列化与反序列化相关操作的类或函数)
接着使用生成的代码文件即可

Proto语法

首先，先看一则消息结构，如下：

syntax = "proto3";

message Student {
  string id = 1;
  string name = 2;
  int32 age = 3;
}

proto3表示使用的proto版本，如不如上指明，编译器会默认为proto2
message Student表示定义一个名为Student的消息结构
{}内为消息的字段，采用类型字段名 = 编号;的形式描述

字段类型

proto的类型主要有三类：标量类型、枚举或复合类型(如其它消息类型)

标量类型

常用的标量类型如下：

proto类型	注释	对应C++类型
double	双精度浮点数	double
float	单精度浮点数	float
int32	使用可变长度编码，对负数编码效率不高 - 如果字段可能具有负值，可使用 sint32	int32
int64	使用可变长度编码，对负数编码效率不高 - 如果字段可能具有负值，可使用 sint64	int64
uint32	使用可变长度编码	uint32
uint64	使用可变长度编码	uint64
sint32	使用可变长度编码，有符号 int 值，与常规 int32 相比，可更有效地对负数进行编码	int32
sint64	使用可变长度编码，有符号 int 值，与常规 int64 相比，可更有效地对负数进行编码	int64
fixed32	始终为四个字节，如果值通常大于 2²⁸，则比 uint32 更高效	uint32
fixed64	始终为八个字节，如果值通常大于 2⁵⁶，则比 uint64 更高效	uint64
sfixed32	始终为四个字节	int32
sfixed64	始终为八个字节	int64
bool	布尔值	bool
string	字符串必须始终包含 UTF-8 编码或 7 位 ASCII 文本，并且不能长于 2³²	string
bytes	可能包含不长于 2³² 的任何任意字节序列	string

上表值给出了C++中对应的类型参考，其它语言亦有与proto对应的类型，具体可自行搜查

默认值：当解析消息时，如果编码的消息不包含某些元素，则访问解析对象中的相应字段将返回该字段的默认值，默认值相关于类型：

对于字符串，默认值为空字符串

对于字节，默认值为空字节

对于布尔值，默认值是false

对于数字类型，默认值是0

对于枚举，默认值是第一个定义的枚举值，它必须是0

枚举

定义一个类型，值为预定义值列表中的一个值

如下，是一个枚举参考：

enum Week {
  MONDAY = 0;
  TUESDAY = 1;
  WEDNESDAY = 2;
  THURSDAY = 3;
  FRIDAY = 4;
  SATURDAY = 5;
  SUNDAY = 6;
}

每个枚举都需要一个常量(32位整数范围内)
第一个需要为零

保留值：定义完一个枚举后，之后某个时间点可能由于业务需要，要修改其结构，或删除一些项，如果仅是注释掉或直接删除，会导致枚举的常量值不连续，后续其它开发者可以使用这些值新增其它枚举项，如果他们后续又加载相同.proto的旧版本，可能会导致严重的问题(如数据损坏等)

为了防止这种问题发生，我们可以用reserved将这些删除项的常量值声明为保留值，防止后续开发者使用

enum Test {
  reserved 3, 5, 7 to 12, 37 to max;
  reserved "FIR", "CAR";
}

reserved后跟保留内容
数字表示保留常量
字符串表示保留字段名称
to用于连接连续的一段值
max表示指定常量数字范围的最大可能值
同一个reserved语句中不能同时混合字段名称和数字值

其它消息类型

表示用message定义的其它消息类型

嵌套消息

消息除了一个个定义，还可嵌套定义，如下：

message UserInfo {
  message Avatar {
    string url = 1;
    string date = 2;
  }
  string nickname = 1;
  string sign = 2;
  Avatar avatar = 3;
}

在消息内部定义的消息，即为嵌套消息，内部可通过其名称直接使用
外部如想使用嵌套消息，可通过_Parent_._Type_的形式引用，如：UserInfo.Avatar

如果想用其它.proto文件内定义的类型，可在文件头使用import文件路径导入指定文件使用

映射

使用关键字map创建、声明，配对键/值字段类型

形式为：map<key, value> name = N;

key可以是数字或字符串类型(即除了浮点数和 bytes 外的所有标量类型)
value可以是任何类型，处理另一个map

举例一个映射如下

message Request {
  string url = 1;
  map<string, string> headers = 2;
}

字段编号

定义消息字段时，必须给每个字段都分配一个编号，数值在1到536,870,911之间

给定的数值必须在该消息的所有字段中唯一
编号19,000至19,999为Protobuf实现保留，不可用
不可使用reserved定义的保留值

建议使用1到15的数字设置常用字段，因为它们只需一个字节进行编码，16之后的数字至少需要两个字节

字段标签

用于声明在定义字段的类型前，起到某种作用

required：表示字段为必填字段，创建消息时，必须设置该字段的值
optional：表示字段是可选字段，创建消息时，可设置值也可不设置，消息接收方如可识别，则对应处理，如不可识别则忽略
repeated：表示该字段可重复0~N个，保留重复值的顺序，即相当于一个数组、列表

保留字段

与上方枚举提到的用法类型，通过reserved定义保留编号和保留字段名称

注释

proto采用与C/C++同样式的注释方法：//或/* ... */

包

为了防止协议消息类型之间的名称冲突，可以在.proto文件中添加可选的package说明符

package foo;
message Test { ... }

定义消息类型的字段时可带上包说明符foo.Test bar = 1;

在编译为不同语言时，会做不同处理，如：对于java解析为java中的包，对于C++则解析为名称空间

后言

protobuf使用非常广泛，如很多平台的视频、直播间弹幕流即是使用这种技术传输，如有需要，还可对序列化消息进行gzip压缩，进一步减少消息体积，节省带宽，提高传输速度

标签：Protobuf,proto,秘密武器,使用,类型,数据传输,序列化,定义
From： https://www.cnblogs.com/skmcj/p/18365664