2、数据同步方案

A-准实时同步方案：

方案描述：使用DRC平台配置化完成分布式DB到ES的准实时数据同步 (注: DRC为公司内部通用数据同步平台, 可在多个数据源之间进行数据同步)

优势

B-双写强一致方案：

方案描述：双写分布式DB与ES, 保证数据一致性

优势

数据同步方案选择建议：

数据同步难点及解决方案：

问题:

难点：流程表与流程细目节点表涉及联合查询, 两表都存在单表增删改的操作; 导致同步到ES的数据模型复杂、同步困难

解决方案：（数据库表增加冗余字段, 冗余字段专用于ES查询）

在DB的流程表增加待审人员, 已审人员字段, 字段的值使用空格分隔, 使用ES的分词功能, 同时ES可直接使用DRC工具直接同步此表数据, 减少同步的开发时间

方案成本: 增加/修改流程细目时同步修改流程表新增字段; 开发刷新历史数据工具

（四）、分阶段开发及上线实施步骤

1、系统业务改造-表字段增加(8月10日)

1） 业务表新增分库字段

部分业务表缺少分库字段，无法直接分片。针对业务表新增sku分片字段， 同时对现有逻辑改造增加SKU条件,以提升查询效率;

2） ES相关查询冗余字段的增加 （刷数据）

2、分布式DB分库数据同步+验证(8月11日)

1） 完成分布式DB分片库+ ES初始化;

2） 配置DRC完成原单库到分布式DB分片库的全量+增量数据同步；

3） 配置DRC完成分布式DB分片库到ES的全量+增量数据同步；

4） 通过检验工具，定期比对分布式DB单片、分布式DB分片及ES间的数据一致性。

3、读流量切换+验证 (8月17日)

1） 新增AOP切面, 通过DUCC配置(erp白名单, 全量读, 结果对比等维度配置)，将读请求逐步切量到新应用集群

2） 待产品、业务侧完成验证后，切换全部读流量至新应用集群（注: 新应用集群使用数据库只读帐号）

4、写流量切换(8.21)

1) 2) 3) 停止原系统分组，确保原单库不再存有写流量，同时协调DBA对原库执行禁写(关闭worker, 暂停MQ消费)

4) 等待并确保原库数据均同步至目的库后，再次通过手动+自动方式校验新老两个数据库的数据一致性

5) 新系统分组切换为读写帐号, 进行部署

7) 研发及测试人员对新系统分组功能使用测试商品进行功能验证, 无问题后交由业务人员验证(切换静态运维页面)

8) 启动worker及接入MQ

5、上线后效果

上线后系统运行正常, 8.23至今已结转商品 2.6亿; 目前系统支持商品场维度数据3.16亿; 最大DB表数据已有2.84亿; ES数据4356W;

前后对比: erp：xxx; 此erp帐号数据29w 原查询9s，新查询1s;

四、总结

好的建议：

未解决问题：

目前分布式DB分布式事务支持比较弱, 无法保证跨分库时多条记录在一个事务中修改的正确性, 需要提交后进行读取后再验证确保数据正确保存

业务人员名下商品数据百万时, 查询时间仍然效长, 查询性能将持续优化

作者：京东零售 王凯

来源：京东云开发者社区 转载请注明来源