wen 使用PostgreSQL保存二进制的Protobuf
前言
PostgreSQL 可以直接存储二进制字段，而上周我学习了通过Protobuf来做grpc通信格式，当然也是可以序列化为二进制存入数据库的，需要的时候从数据库查询出来，通过protobuf来转成对应的Java对象，本文就是来尝试一下这个思路。
PostgreSQL 安装
使用docker来安装PostgreSQL, 参照网站https://hub.docker.com/_/postgres
命令如下
docker run –name my-postgres -p 5432:5432 -e POSTGRES_PASSWORD=kentest123$# -d postgres
以上命令会去下载postgresql的image,并运行起来， 如果需要我们程序访问，-p一定要加上，把端口打开，不然程序不能连过去。
docker启动后，可以使用如下命令，同时sh来查看数据库资源
docker exec -it my-postgres sh
再执行psql可以输入select语句
psql -U postgres
l 是显示所有数据库
c 数据库名； 切换到某个数据库，我们使用用户postgres，默认会进入名为postgre的数据库
d 是查看数据库中所有表
d 表名是查看表的定义。
查看表的大小
select pg_size_pretty(pg_relation_size(“customer”)) as size;
代码编写
这里直接用JPA来完成数据对数据库的访问
定义一个实体
@Entity
@Table(name = "market_price_byte")
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class MarketPriceByte implements Serializable {
@Id
private String id;
@Column(name = "values", nullable = false)
private byte[] values;
}
MarketPriceByte 对应数据库market_price_byte， 两个字段一个是id, 一个是byte数组，后面用来存我们的protobuf。
定义protobuf文件
定义一个proto文件pricevalue.proto
syntax = "proto3";
option java_multiple_files = true;
option java_package = "ken.postgresql.proto";
option java_outer_classname = "PriceValueProto";
option objc_class_prefix = "HLW";
package proto;
message PriceValue {
sint32 date = 1;
double open = 2;
double high = 3;
double low = 4;
double close = 5;
}
message PriceValues {
repeated PriceValue price_value = 1;
}
PriceValue表示一天的股票价格， PriceValues是历史价格，我们就是把它序列化后存入到ProgresSQL里面。
使用上篇用到的maven插件生成对应的Java类
编写代码
首先我们定义一个JpaRepository用来存取数据库记录
public interface MarketPriceByteRepository extends JpaRepository<MarketPriceByte, String> {
}
在配置文件中设置数据库配置
spring.datasource.url=jdbc:postgresql://localhost:5432/postgres
spring.datasource.username=postgres
spring.datasource.password=kentest123$#
spring.jpa.hibernate.ddl-auto=update
spring.jpa.properties.hibernate.show_sql=true
spring.jpa.properties.hibernate.format_sql=true
spring.jpa.hibernate.ddl-auto 设置成 update，是代码有更新的时候，同步更新数据库表
编写一个Service用来存数据到数据库和从数据库取数据
@Service
@Slf4j
public class MarketPriceService {
@Autowired
private MarketPriceByteRepository repository;
public void createMarketPrice() {
MarketPriceByte newMarketPrice = new MarketPriceByte();
newMarketPrice.setId("0000000001");
PriceValue priceValue = PriceValue.newBuilder()
.setDate(100)
.setOpen(1.01)
.setHigh(1.12)
.setLow(1.00)
.setClose(1.11).build();
PriceValue priceValue2 = PriceValue.newBuilder()
.setDate(101)
.setOpen(2.01)
.setHigh(2.12)
.setLow(2.00)
.setClose(2.11).build();
PriceValues priceValues = PriceValues.newBuilder()
.addPriceValue(priceValue)
.addPriceValue(priceValue2)
.build();
newMarketPrice.setValues(priceValues.toByteArray());
log.info("Saving new MarketPrice...");
this.repository.save(newMarketPrice);
}
public void queryAllMarketPrices() {
List<MarketPriceByte> allMarketPrices = this.repository.findAll();
log.info("Number of MarketPrices: " + allMarketPrices.size());
if(allMarketPrices.size() > 0)
{
MarketPriceByte marketPriceByte = allMarketPrices.get(0);
log.info(marketPriceByte.getId());
byte[] values = marketPriceByte.getValues();
try {
PriceValues priceValues = PriceValues.parseFrom(values);
PriceValue priceValue1 = priceValues.getPriceValue(0);
PriceValue priceValue2 = priceValues.getPriceValue(1);
log.info(priceValue1.toString());
log.info(priceValue2.toString());
} catch (InvalidProtocolBufferException e) {
throw new RuntimeException(e);
}
}
}
}
createMarketPrice 我们hardcode了一个MarketPriceByte对象，Java对象序列化为protobuf
priceValues.toByteArray()
然后通过MarketPriceByteRepository存入数据库
queryAllMarketPrices 将我们存入的数据查询出来，完成从byte[] 转成 Java对象 “PriceValues.parseFrom(values)”
调用代码：
marketPriceService.createMarketPrice();
marketPriceService.queryAllMarketPrices();
调用后，我们到数据库查询，可以看到我们hardcode的那条记录
这样就完成了把protobuf对象存入到progresql数据库。
总结
上面的代码比较简单，但对于第一次接触的同学还是有些工作在这里面， 比如docker里面运行postgresql, JPA是否支持postgresql定义的二进制字段, Protobuf生成的对象怎么转成byte[]
这些东西虽然简单，但是也只有自己动手写一写，才印象比较深刻，才更好的理解。
