首页 > 其他分享 >数据时代的大数据技术,主要包括哪些内容?

数据时代的大数据技术,主要包括哪些内容?

时间:2023-04-19 10:36:00浏览次数:36  
标签:时代 哪些 摘要 索引 可视化 数据流 数据 分布式


世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值,其目的都在于解决在企业发展过程中各种业务数据增长所带来的痛苦,现实是,许多问题阻碍了大数据技术的发展和实际应用。

因为一种成功的技术,需要一些衡量的标准。现在我们可以通过几个基本要素来衡量一下大数据技术,这就是——流处理、并行性、摘要索引和可视化。
  
  大数据技术主要涵盖哪些内容,具体如下:
  
  一、流处理
  
  伴随着业务发展的步调,以及业务流程的复杂化,我们的注意力越来越集中在“数据流”而非“数据集”上面。
  
  决策者感兴趣的是紧扣其组织机构的命脉,并获取实时的结果。他们需要的是能够处理随时发生的数据流的架构,当前的数据库技术并不适合数据流处理。
  
  例如,计算一组数据的平均值,可以使用一个传统的脚本实现。但对于移动数据平均值的计算,不论是到达、增长还是一个又一个的单元,有更高效的算法。如果你想构建数据仓库,并执行任意的数据分析、统计,开源的产品R或者类似于SAS的商业产品就可以实现。但是你想创建的是一个数据流统计集,对此逐步添加或移除数据块,进行移动平均计算,而且数据库不存在或者尚不成熟。
  
  数据流周边的生态系统有欠发达。换言之,如果你正在与一家供应商洽谈一个大数据项目,那么你必须知道数据流处理对你的项目而言是否重要,并且供应商是否有能力提供。
  
  二、并行化
  
  大数据的定义有许多种,以下这种相对有用。“小数据”的情形类似于桌面环境,磁盘存储能力在1GB到10GB之间,“中数据”的数据量在100GB到1TB之间,“大数据”分布式的存储在多台机器上,包含1TB到多个PB的数据。
  
  如果你在分布式数据环境中工作,并且想在很短的时间内处理数据,这就需要分布式处理。
  
  并行处理在分布式数据中脱颖而出,Hadoop是一个分布式/并行处理领域广为人知的例子。Hadoop包含一个大型分布式的文件系统,支持分布式/并行查询。
  
  三、摘要索引
  
  摘要索引是一个对数据创建预计算摘要,以加速查询运行的过程。摘要索引的问题是,你必须为要执行的查询做好计划,因此它有所限制。
  
  数据增长飞速,对摘要索引的要求远不会停止,不论是长期考虑还是短期,供应商必须对摘要索引的制定有一个确定的策略。
  
  四、数据可视化
  
  可视化工具有两大类。
  
  探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系,这是一种可视化的洞察力。类似的工具有Tableau、TIBCO和QlikView,这是一类。
  
  叙事可视化工具被设计成以独特的方式探索数据。例如,如果你想以可视化的方式在一个时间序列中按照地域查看一个企业的销售业绩,可视化格式会被预先创建。数据会按照地域逐月展示,并根据预定义的公式排序。供应商Perceptive Pixel就属于这一类。
  
  五、生态系统战略
  
  许多最大最成功的公司都花费大量资金构建围绕它们产品的生态系统。这些生态系统被产品特性和商务模型所支持,并与合作伙伴的产品和技术协同工作。如果一个产品没有一个富有战略的生态系统,是很难适应客户的要求的。
 


标签:时代,哪些,摘要,索引,可视化,数据流,数据,分布式
From: https://blog.51cto.com/u_13973070/6205778

相关文章

  • 云计算主要包含哪些特征,存在哪些障碍?
    云计算具有以下三个特征:1、可使用的无限的计算资源,从而消除了云计算用户预防不测的需要。2、消除了云计算用户的前期投资,从而使得公司以小规模启动,仅在需要增加时增加硬件资源。3、可支付短期内所使用的计算资源(如处理器的使用小时数和存储使用的天......
  • 虚拟化就是云计算吗,两者之间有哪些不同之处?
    虚拟化就是云计算,这个说法很早就有,尤其商业厂商,vmware,微软,都是把以前叫虚拟化的产品,改名为云计算。其实某种意义上,也对,虚拟化是云计算的初级阶段。对于企业来说,虚拟化,其实就已经能完全满足需求,那其实这就是云计算。相信云计算也是有不同的阶段,不同的层次。......
  • 快速发展的云计算,主要面临哪些安全威胁?
    人们必须了解云计算面临的严重威胁,并制定出相应的应对措施。下面,列举了云计算面临的五大威胁。一、服务中断即使SLA服务水平协议落到实处,也会有某些云服务出现宕机的可能。比如去年4月亚马逊云服务的中断事件,就是一个典型例子。某些情况下,云主......
  • 云计算主要包含哪些特点,未来趋势是什么?
    一、什么叫云计算?云计算(cloudcomputing)是一种基于因特网的超级计算模式,我们可以把云计算想象为:成千上万台电脑和服务器连接成一片。因此,云计算可以拥有每秒10万亿次的运算能力。由于具有强大的计算能力,云计算甚至可以用来模拟核爆炸、预测气候变化等。可以预估的是云计......
  • 并行计算、分布式计算、集群计算和网格计算的介绍,以及主要有哪些区别?
    并行计算(ParallelComputing)并行计算或称平行计算是相对于串行计算来说的。并行计算(ParallelComputing)是指同时使用多种计算资源解决计算问题的过程。为执行并行计算,计算资源应包括一台配有多处理机(并行处理)的计算机、一个与网络相连的计算机专有编号,或者两者结合使用。......
  • 物联网的web设计,面临了哪些挑战?
    我们正在进入一个网页设计的新时代,物联网智能移动设备的普及将电子商务的网站设计提升到一个全新的高度。一、网页设计将变得更加复杂网站设计将变得更加复杂,因为现在设计师必须考虑设计前端接口,用户可以轻松地与诸如照相机,传感器,冰箱,洗衣机和其他智能设备之类的设备进行通信。需要......
  • 成为一名合格的数据科学家,所需要学习的基本技能
    数据科学家所需具体技能,罗列如下:1数据分析技能数据清洗运用合适的统计知识和方法来分析数据运用机器学习算法建立数据模型评估和应用数据模型实现数据可视化2编程技能精通一种或者多种数据分析工具(R/Python/SPSS/SAS/Matlab)精通一种或者多种面向对象的编程语言(Python/Java/C++等)......
  • 构建私有云,需要考虑哪些要点?
    私有云让企业能够保护并控制应用程序和数据,同时让开发团队能够更快速、更顺畅地提供业务价值。但是虽然构建私有云有望彻底改变IT,要是没有认真的规划和准备,它也无异于是一次成本高昂的科学试验。下面这十个要点有助于确保成功。1.让利益相关者参与进来。私有云并不是纯粹的IT项目。......
  • 大数据时代,大数据分析和挖掘常用的软件工具有哪些?
    首先,对于传统分析和商业统计来说,常用的软件工具有Excel、SPSS和SAS。Excel是一个电子表格软件,相信很多人都在工作和学习的过程中,都使用过这款软件。Excel方便好用,容易操作,并且功能多,为我们提供了很多的函数计算方法,因此被广泛的使用,但它只适合做简单的统计,一旦数据量过大,Excel将不......
  • thinkphp6 获取刚入库的数据ID方法
    首先,插入数据,有3个方法都可以实现create()create方法返回当前模型的对象实例,用箭头符号就能获取主键ID如果你的自增ID是id的话,获取方法也要变成$order->id$order=order::create($data);echo$order->id;save()save方法返回新增总数,不能通过返回值获取。需要通过......