首页 > 其他分享 >Hadoop(一)大数据概论

Hadoop(一)大数据概论

时间:2024-09-09 09:25:48浏览次数:1  
标签:结构化 存储 海量 Hadoop 密度 数据 概论

大数据概念

  • 大数据:指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
  • 按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
  • 大数据主要解决:海量数据的采集、存储和计算分析的问题

大数据特点(4V)

  • Volume(大量)、Velocity(高速)、Variety(多样)、Value(低介价值密度)

1、关于多样性

  • 这种类型的多样性让数据被分为结构化数据和非结构化数据
  • 结构化数据:相对于以往便于存储的以数据库/文本为主的结构化数据
  • 非结构化数据:包括网络日志、音频、视频、图片、地理位置信息等

2、关于低价值密度

  • 价值密度的高低与数据总量的大小成反比

标签:结构化,存储,海量,Hadoop,密度,数据,概论
From: https://www.cnblogs.com/shihongpin/p/18403931

相关文章

  • Ftrans跨域文件传输方案,数据流动无阻的高效路径!
    大型集团企业由于其规模庞大、业务广泛且往往将分支机构、办事处分布在多个地域,因此会涉及到跨域文件传输的需求。主要源于以下几个方面:1.业务协同:集团内部的不同部门或子公司可能位于不同的地理位置,但需要进行紧密的业务协同。文件传输是实现这种协同的重要方式之一,包括项目文档......
  • 数据同步和数据备份
       日常使用的移动手机或者是电脑等其它电子产品都是每天在产生不同的数据。数据安全性的 保证需要有很多的计算机程序设计的运行程序进行有效保证。电子产品是硬件设备,硬件设 备就像机器机械一样是可以看得见摸得着的具体物件设施。物质和能量,源头物料可以通过 不同的设......
  • Ftrans无缝替代FTP方案:保障数据传输的安全性与合规性!
    FTP(文件传输协议)是一种用于在网络上进行文件传输的标准网络协议,历史悠久并且被广泛使用。但随着业务规模和文件体量的快速增长,在应用实践中,FTP存在一些安全和效率问题。因此政府单位需要可以平滑替代FTP的文件传输解决方案,从而更好的保障数据安全、提升工作效率。具体存在以下问题......
  • 【SQL数据库技术开发】第34课时-数据库SQL CHECK 约束
    SQL CHECK 约束SQLCHECK约束CHECK约束用于限制列中的值的范围。如果对单个列定义CHECK约束,那么该列只允许特定的值。如果对一个表定义CHECK约束,那么此约束会基于行中其他列的值在特定的列中对值进行限制。CREATETABLE时的SQLCHECK约束下面的SQL在"Per......
  • 【SQL数据库技术开发】第41课时-数据库SQL Date 函数
    SQL Date 函数SQL日期(Dates)当我们处理日期时,最难的任务恐怕是确保所插入的日期的格式,与数据库中日期列的格式相匹配。只要您的数据包含的只是日期部分,运行查询就不会出问题。但是,如果涉及时间部分,情况就有点复杂了。在讨论日期查询的复杂性之前,我们先来看看最重要的......
  • 多连接数据库管理工具Navicat Premium 16 for Mac
    NavicatPremium16forMac是一款功能强大且易于使用的多连接数据库管理工具。软件下载地址一、主要功能无缝数据迁移:数据传输、数据同步和结构同步功能可助力轻松、快速地迁移数据,降低开销。提供跨各种数据库管理系统(DBMS)传输数据的详细分步指导。可比较和同步数据库,在......
  • 数据结构题目 第一章
    题目1、数据结构被形式的定义为(K,R),其中K是( )的有限集合,R是K上关系的有限集合。A.算法  B.数据元素 C.数据操作 D.逻辑结构2、数据元素是数据的最小单位。 ( )3、存储数据时,通常不仅需要存储各数据元素的值,而且还要存储( )。A.数据的处理方法 B.数据元素的类型......
  • java导入json数据至doris
    表结构字段名称与json key名称一致:packagecom.ruoyi.doris;importcn.hutool.core.io.FileUtil;importcn.hutool.http.HttpRequest;importcn.hutool.http.HttpResponse;importcom.alibaba.fastjson.JSONArray;importcom.alibaba.fastjson.JSONObject;importlomb......
  • uniapp数据缓存和发起网络请求
    数据缓存uni.onStorageSync同步的方式将数据存储到本地缓存<template> <button@click="onStorageSync()">存储数据</button></template><scriptsetup> constonStorageSync=()=>{ //存储数据 uni.setStorageSync('username',&......
  • 大数据新视界--大数据大厂之Java 与大数据携手:打造高效实时日志分析系统的奥秘
           ......