首页 > 其他分享 >系统工程(二十一)数据湖

系统工程(二十一)数据湖

时间:2023-06-06 09:33:07浏览次数:49  
标签:数据分析 结构化 处理 数据库 二十一 系统工程 接口 数据

数据湖是存储企业各式各样的原型数据的大型仓库,可供存取、处理、分析、传输。

数据湖里的数据包括结构化和非结构化的数据,结构化数据是数据表格等,非结构化数据是视频、音频等

数据湖可以做数据分析处理,也可以做业务分析处理

数据仓库仅仅支持数据分析处理

数据湖不但支持数据分析处理,也支持业务分析处理

数据库与数据湖的区别:

数据库的数据是进行清理过的,有结构,而数据湖里的数据是没有进行清理过的,数据没有结构

数据库的数据价值明确,而数据湖里的数据价值不明确

数据库的接口是SQL接口,而数据湖的接口是应用系统、SQL接口

数据库的优势是数据结构化,转换一次多次应用

数据湖的优势是无限扩展、并行执行、数据经济,支持编程框架

 

目前有数据库和数据湖一起用的架构。

标签:数据分析,结构化,处理,数据库,二十一,系统工程,接口,数据
From: https://www.cnblogs.com/wumingliang/p/17459630.html

相关文章

  • MySQL如何查询B+树高以及树能存放多少数据
    来源:  https://blog.csdn.net/Hmj050117/article/details/121349435 ......
  • 记一次线上问题,Netty接收到的报文一次有数据一次没有数据
    最近线上遇到一个问题,客户端发送的tcp报文第一次连接成功后没有数据,第二次连接后正常带数据,第三次又没有数据...问题排查1:是否有负载均衡,其中有一台机器出现了异常,会出现一次成功一次失败的情况经过排查,本服务是没有负载均衡的,排除问题排查2:抓包分析 根据抓包数据,异常情况时......
  • 系统工程(二十)商业智能
    商业智能的核心组成部分是数据仓库、OLAP联机分析、数据挖掘,用途是用于决策分析。数据库与数据仓库的差别:数据仓库是主要用于存储数据,包括历史数据,很少用于数据的删除修改更新,主要用于查询。而数据主要用于CRUD,创建、阅读、更新、删除。数据仓库是面向主题的,主题就是以某个概念......
  • 对粮食产量进行大数据分析
    一、选题背景 近年来,我国各个省份的粮食总产量以及增量增速逐渐倍受关注,如何增加粮食产量也成为了人们关注的热点话题。通过互联网上的信息发布网站,我获取并整合了各省粮食产量数据。其中,“中国产业信息网”每年发布的国内新一年的粮食产量信息。网站发布的信息包括近些年的粮......
  • 每日记录(数据结构 第一章 绪论)
    这些天准备学一下数据结构,面对越来越多的问题都需要使用设计一些算法,所以从网上摘抄总结的数据结构有关的知识 数据(data)是对客观事物的符号表示。在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总称。数据元素(dataelement)是数据的基本单位,在计算机程......
  • 每日记录(数据结构 第二章 线性表() )
     线性表的定义:存在唯一一个“第一个”元素存在唯一一个“最后一个”元素除第一个元素外,每一个元素都有且只有一个前驱除最后一个元素外,每个元素都有且只有一个后继一、线性表顺序存储结构(顺序表)0.线性表的基本概念线性表强调元素在逻辑上紧密相邻,所以首先想到用数组存储。但是......
  • 数据分享|PYTHON用决策树分类预测糖尿病和可视化实例|附代码数据
    全文下载链接:http://tecdat.cn/?p=23848最近我们被客户要求撰写关于决策树的研究报告,包括一些图形和统计输出。在本文中,决策树是对例子进行分类的一种简单表示。它是一种有监督的机器学习技术,数据根据某个参数被连续分割。决策树分析可以帮助解决分类和回归问题 ( 点击文末“阅......
  • 对人力资源分析案例研究数据集进行数据分析
    一.选题背景近年就业面临着诸多挑战。一方面,经济的不景气和就业市场的不稳定性使得就业难度加大,就业形势越来越严峻。另一方面,高校毕业生的数量不断增加,而就业岗位的数量却没有相应增加,导致竞争激烈,难以找到合适的工作。此外,还有一些特殊的问题,如女性就业歧视、农村学生就业难等,......
  • Python爬取郑州安居客租房数据采集分析
    一、选题背景在现在,虽然我国实行楼市调控,使得总体的房价稳定下来,但是我国房价还是处于一个高水平之上。在这种情况下,大批在郑奋斗的年轻人选择租房,所以此次数据分析可以使在郑的年轻人了解郑州租房现状,让年轻人在租房时可以选到更加适合的房源。二、爬虫设计方案1、爬虫网址郑......
  • 数据库系统概论—关系理论、数据库设计
    数据库系统概论—设计与应用开发篇(1)一.关系数据理论主要是关系中属性和属性之间的依赖关系1相关基本概念第一范式:表中无表(属性不可再分)数据依赖:是在一个关系内部属性间的约束,分为函数和多值依赖。eg:学号决定姓名2.规范化2.1函数依赖与数学中函数概念相似,......