首页 > 其他分享 >半结构化数据

半结构化数据

时间:2022-08-29 22:00:52浏览次数:72  
标签:结构化 模型 模式 数据结构 数据 数据模型

1、半结构化数据定义

结构化数据:传统数据库中定义的数据,商业的交易数据等都是拥有固定的数据结构。

非结构化数据:另一个极端,对于图片、声音和生文本(指未经计算机处理的预料),这些数据完全没有固定结构,故被称为非结构化数据。

半结构化数据:处于两个极端之间,结构隐含在数据中的,或者模式繁多且经常变化以至于会忽略的数据称为半结构化数据。
英文:semistructureddata;semi-structuredata;semi-structureddata;semistructureddata;

政府开放数据各个源数据模式不确定,多属于半结构化数据范畴。

2、半结构化数据特征

(1)数据结构自描述性。结构与数据相交融,在研究和应用中不需要区分“元数据”和“一般数据”(两者合二为一)。
(2)数据结构描述的复杂性。结构难以纳入现有的各种描述框架,实际应用中不易进行清晰的理解与把握。
(3)数据结构描述的动态性。数据变化通常会导致结构模式变化,整体上具有动态的结构模式。

3、半结构化数据模型

结构化数据模型:E-R模型、关系模型和对象模型

半结构化数据模型:

  • OEM(ObjectexchangeModel),对象交换模型
  • OIM(ObjectIntegrationModel),对象融合模型【找不到!】
    ​ + IntegratedObjectModel(IOM),集成对象模型【好像不是一个东西】
    ​ + https://support.sas.com/rnd/itech/doc/dist-obj/iom.html​
  • MFRO(MinimalFullRepresentationObjects),最小完整表示对象【找不到?】

在数据库方法中,半结构化数据的表示一般用OEM(Object Exchange Model)[4]模型.也可用OIM(Object Integration Model)模型[4,5,6],
用MFRO(Minimal Full Representation Objects)[7,8]方法实现其模式抽取。OIM是OEM的一种变形数据模型。数据库方法的应用集中在模式发现、多层数据库的建立或数据向导(Data Guides)的建立以及web查询系统。

标签:结构化,模型,模式,数据结构,数据,数据模型
From: https://www.cnblogs.com/sybil-hxl/p/16637524.html

相关文章

  • PostgreSQL快速导入千万条数据
    为了与MySQL做个对比,做一个PG的数据导入测试,使用COPY方式,测试环境保持一致,具体如下所述。一、测试环境■48CPU/376GCPU(s):48Thread(s)percore:......
  • 大数据架构和算法实现之路:电商系统的技术实战 pdf
    高清扫描版下载链接:https://pan.baidu.com/s/1ed9wiUcGoxfSih5UYls5LQ点击这里获取提取码大数据架构和算法实现之路:电商系统的技术实战介绍了一些主流技术在商业项目中的......
  • MySQL低配数据库被大量数据导入时KO
    在一个低配MySQL数据库(笔记本电脑虚机环境,虚机配置2CPU/3G内存),在3000万级别的大量数据LOADDATA方式导入时,坚持一小时后,终于被KO了,甚至没写下任何有用的日志,只是在操作界面......
  • MySQL快速导入千万条数据(3)
    接上文,本次在较高性能的X86物理机上,做真实生产环境的大数据量导入测试。一、测试环境■CPU是24核,每核2线程,即48CPU$lscpuArchitecture:x86_64CPUop-mode......
  • MySQL快速导入千万条数据(2)
    接上文,继续测试3000万条记录快速导入数据库。一、导入前1000万条数据清库、建库、新建表结构、导入前1000万条数据,结果:■1000万行,有2索引导入耗时:16分钟QueryOK,999......
  • MySQL快速导入千万条数据(1)
    对于传统的关系数据库如oracle,在大量数据导入方面的效率,我们一般有一个大概的认知,即1分钟以内可以导入千万条数据,而对于MySQL数据库,普遍观点以为性能相对较差,尤其时对于千......
  • 数据、算力强支撑,佳格天地联合华为云打造农业农村大数据解决方案
    数据、算力强支撑,佳格天地联合华为云打造农业农村大数据解决方案日前,华为云“828B2B企业节”盛大开启。农业农村大数据应用企业佳格天地联合华为云推出“测亩宝”、“高......
  • DataFrame操作数据的两种方式(SQL和DSL)
    SQL方式需要将DataFrame注册成为一张临时表,并给临时表起名字,通过SQL语句查询分析DataFrame中数据局部临时表、全局临时表[注意]:--1如果我们注册的是全局表,查询全局表......
  • 数据类型(2)
    数据类型(2) 本节重点掌握char类型和varchar类型掌握枚举类型和集合类型  字符类型  #官网:https://dev.mysql.com/doc/refman/5.7/en/char.html#注......
  • 数据类型
    数据类型 介绍存储引擎决定了表的类型,而表内存放的数据也要有不同的类型,每种数据类型都有自己的宽度,但宽度是可选的详细参考链接:http://www.runoob.com/mysql/mys......