首页 > 其他分享 >字典服务的设计与管理

字典服务的设计与管理

时间:2022-08-22 21:47:10浏览次数:38  
标签:服务 业务 表单 枚举 设计 数据 字典

编码问题,谁不想避其锋芒;

一、业务背景

在搜索引擎的功能上,曾经遇到过这样一个问题,数据库中某个公司名称中存在特殊编码,尽管数据已经正常同步到索引中,但是系统中关键词始终也无法匹配到该公司;

然后在库中模糊匹配,将公司名称复制到搜索框中,这样就可以正常命中索引,那么问题也就很清楚了,这种数据"隐身"的情况,即看着是同一个字,但是实际上不是,通常由特殊编码引起的;

通过表单进行数据采集是常用的业务手段,但是如果表单存在多个任意输入的文本框,这样获取的数据在质量上可能存在很多欠缺,尤其针对一些核心字段,严谨的校验规则十分有必要;

如果站在数据层面来看,虽然获取多维度数据有利于全景识别,但是各个维度的值准确与否或质量高低才是关键,对于多数业务场景来说,只依赖数据实体的部分属性,更多还是在于数据维度的质量;

提高数据质量的手段中,最行之有效的方式就是尽可能对字段维度提供枚举值,将数据内容限制在约定的范围内,其次就是校验规则需要严谨,以此确保业务数据的高质量;

二、字典服务

在分布式系统架构中,比较常见的基础服务层通常有:调度、缓存、文件、消息、字典等,下面就来详细的聊聊字典服务的设计与业务协作的逻辑;首先看一看交互逻辑:

在字典服务中,通常管理公共的常量与数据枚举值的维护;常规情况下,在业务表单加载的时候,从字典服务中读取各维度枚举值,在表单提交的时候,校验相关枚举字段,以此提高内容的质量;

在字典服务中提供的枚举值,根本目的是为了确保数据值的统一性,尽可能的避免同一个信息用两种方式描述,比如编程标签:"JAVA"与"Java",虽然从程序角度可以规避识别,但实际上是可以避免的;

从字典服务常见的内容管理来看,通常包括:常量、状态描述、业务标识;行业、标签、地址、学校等数据码表;其最大的特点就是在系统中被全局复用和识别;

三、细节设计

1、维护方式

对于字典数据的维护,通常使用两种手段:枚举类管理,码表存储,参数表存储;如何选择对应的方式,更多是取决于数据的属性:

  • 枚举类:维护基本不会改变的字段,比如数据的常规状态描述;
  • 码表:通常数据具有层次或者级联关系,比如地址和行业中的多级联动;
  • 参数表:即时要求很高,例如字段枚举值的定义,需要动态实时管理;

不管使用那种方式管理字典数据,都需要增强业务语义的描述,这样在业务表单中通过相应标识读取对应枚举选项即可,并且拦截范围之外的提交动作;

2、数据加载

字典数据的查询通常采用Cache-Aside缓存模式,即查询优先访问缓存数据,命中则返回数据;否则访问库表数据,获取数据后返回页面并同步缓存中;在控制中心做内容修改后也需要再次同步缓存;

字典服务虽然并不复杂的,但是系统访问却十分频繁,如果出现异常情况很容易对业务产生大规模的影响,既要考虑并发访问的流量,又要设计合理的查询降低加载时间,避免对流程产生有感知的影响;

3、数据修改

不管是采用字典方式加载枚举值,还是采用任意输入的方式,都会面对一个无法避开的问题,字段值在业务开发中不断优化,则需要对数据进行清洗,至于数据清洗的流程在之前有详细的总结过,这里不再赘述。

四、数据意识

数据字典本身的逻辑比较简单,但是如果放在数据体系中,这是一种基础的意识,在数据中很容易出现同名但定义不同,或者定义相同但名称不同,这会给数据分析带来很多不必要的麻烦;

所以基于数据字典的方式,明确数据口径同时避免业务语义产生分歧,尤其对于汉语来说,"意思"到底是什么意思?

五、参考源码

编程文档:
https://gitee.com/cicadasmile/butte-java-note

应用仓库:
https://gitee.com/cicadasmile/butte-flyer-parent

标签:服务,业务,表单,枚举,设计,数据,字典
From: https://www.cnblogs.com/cicada-smile/p/16614338.html

相关文章

  • 622. 设计循环队列
    622.设计循环队列设计你的循环队列实现。循环队列是一种线性数据结构,其操作表现基于FIFO(先进先出)原则并且队尾被连接在队首之后以形成一个循环。它也被称为“环形缓......
  • 更改postgis的图层数据导致geoserver的服务图层加载错误
    一、情景复现数据存放在postgis,并且用geoserver进行了图层发布。现在有个需求,需要对某一图层的属性表进行编辑操作,待我操作完并保存后,刷新浏览器,服务url就报错了在geos......
  • EdgeX学习笔记(四)——创建一个简单的设备服务
    注:创建设备服务前,请先确保已经安装了必要的工具和环境信息https://www.cnblogs.com/azhu1998/p/16601944.htmlstep1:首先,下载并构建适用于C的EdgeX设备服务SDK(软件......
  • 面向对象分析与设计的底层逻辑
    1 面向对象是符合人认识事物的基本方法 01 人是怎么认识事物的 在面向对象出现之前,已有面向过程的分析方法,为什么面向对象被提出了呢?究其本质原因,人们发现面向过程......
  • 全球商务办公解决方案巨头:CRM强助攻, 覆盖1000+伙伴的售后服务网络
     这是一家全球商务办公解决方案巨头。自1937年创业以来,始终秉承"共生''的企业理念,以创造世界一流产品为奋斗目标,向多元化和全球化发展。位于东京的集团总部与美洲、欧洲......
  • FTP服务搭建-Windows Server 2008搭建FTP服务
         在与银行进行存管测试的时候,需要搭建FTP服务来进行文件交互,搭建步骤如下: 一、概述搭建FTP服务主要有以下几个步骤:1.安装FTP服务2.创建FTP专用账号3.......
  • 博客粘贴图片自动上传到服务器(Java版)
    ​如何做到ueditor批量上传word图片?1、前端引用代码<!DOCTYPE html PUBLIC "-//W3C//DTDXHTML1.0Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-......
  • 云面料系统设计思路
    业务背景是公司员工需要快速知道客户提供的布匹的信息,方便后续生产,难点在于数据库中布匹的信息大约有几万条怎么快速找到用户提供的布料信息成为生产痛点需求就是员工在......
  • 【设计模式】24.行为型模式-备忘录(Memento)
    一、描述定义:在不破坏封装的前提下,捕获一个对象的内部状态,并在该对象之外保存这个状态,这样可以在以后将对象恢复至原来保存的状态。理解:当需要保存某个对象的操......
  • 测试右移-后台服务监控告警实践
    前言前段时间,公司上线了“大屏”项目,用于对接展示一些业务平台的数据。但是在上线后使用过程中,产品或业务经常反馈前台页面没有数据。出现这种情况后,开发人员会去排查问......