首页 > 其他分享 >初识大数据

初识大数据

时间:2023-09-15 16:12:44浏览次数:40  
标签:分析 存储 NOSQL 瓶颈 数据库 初识 数据

 

        高速交互和快速处理:在线购物平台要求用户与平台进行高速交互,而平台在处理数据时也要保持快速响应。这意味着平台需要具备高度并发性和处理大量数据的能力。

        用户安全和状态一致性:在处理数据的过程中,平台需要确保用户的安全和数据的状态一致性。这包括保护用户的个人信息,并确保用户在不同操作之间的数据状态保持一致和可控。

        主要增删改查和数据库支撑:在线购物平台的主要业务操作包括增加、删除、修改和查询数据。这些操作都依赖于数据库来支撑业务的进行,数据库不仅需要具备高扩展性和存储能力,还需要能够捕捉业务状态的变化和支持事务的保证。

        传统业务分析和OLTP:传统业务分析主要是基于联机事务处理(OLTP)的方式进行。OLTP存储了日常业务数据,并且使用传统关系型数据库来进行数据管理。OLTP主要聚焦于当下的数据,对于增删改查操作的查询较为简单,响应时间一般为毫秒级。

        大数据离线分析和OLAP:大数据离线分析主要是针对历史数据进行分析的。例如,支付宝年度账单需要对支付历史数据进行详细分析,并进行数据之间的对比。这种分析往往具有较弱的时效性要求,但能够呈现出极佳的视觉效果。与传统业务分析不同,大数据离线分析主要面向分析,可以为业务决策者提供支持。在技术实现上,大数据离线分析使用联机分析处理(OLAP)方式,数据存在数据仓库中,并利用过去的数据指导未来的发展。查询复杂度较高,响应时间取决于数据量和复杂程度。

        大数据流式分析和实时数据:大数据流式分析是针对实时数据进行分析的一种方式。根据实时性要求的不同,可以分为亚秒级、秒级和毫秒级的分析。这种分析方式主要用于对实时数据的监控和分析,以便及时采取相应的行动。

        数据存储挑战和NOSQL:随着大数据时代的到来,数据存储面临着一些新的挑战。高并发的访问需求、海量非结构化数据的存储需求以及高扩展性和存储能力要求都是当前数据存储的新要求。为了应对这些挑战,可以使用NOSQL(Not Only SQL)数据库。NOSQL数据库包括键值数据库(如Redis)、列族数据库(如BigTable)、文档数据库(如MongoDB)和图形数据库(如Neo4j)等。每种类型的数据库都有其适用的场景和特点。

        传统数据库优势和NOSQL不足:传统关系型数据库(RDBMS)在处理高结构化数据和基础事务方面具有优势,并且提供严格的一致性。此外,传统数据库还具备开放性、运维优势和系统优势等特点。然而,NOSQL数据库由于不同数据库之间存在不同的查询语言,使得制定程序标准接口变得更加困难,这是NOSQL数据库的一个不足之处。

        突破瓶颈和程序员的挑战:作为一名程序员,要突破多个瓶颈。首先是选择瓶颈,需要果断选择适合自己发展的语言和职业方向。其次是技术瓶颈,需要不断学习和掌握新的技术,以适应快速发展的技术环境。薪资瓶颈是另一个需要克服的障碍,需要通过不断提升自身价值来获取更好的薪资待遇。此外,学习瓶颈和职业发展瓶颈也是程序员需要面对的挑战。只有克服这些瓶颈,才能在职业生涯中不断成长和进步。

 

标签:分析,存储,NOSQL,瓶颈,数据库,初识,数据
From: https://www.cnblogs.com/kdy666/p/17705248.html

相关文章

  • 导出guide_data.sh数据库脚本内的内容整理
    /home/weihu1/guide_data.sh脚本内容如下:###############################################################################请选择以下项目:1.导物流信息mysql-h172.18.136.74-ubss_reader-pzF4GfdKV9FfsQ7Jv-P3306-Ne"usebss;selecto.system_numassystemNum,o.sta......
  • Dynamic CRM 字段数据类型及其后端赋值方式
    dynamiccrm字段数据类型及其赋值方式首先实例化一个对象:Entity_entity=newEntity("salesorder");1.十进制数取值:var_typeDecimal=_entity.GetAttributeValue<decimal>("unitprice");赋值:_entity["unitpri......
  • HarmonyOS应用侧与前端页面数据通道建立
     一、 应用侧调用前端页面函数应用侧可以通过runJavaScript()方法调用前端页面的JavaScript相关函数。在下面的示例中,点击应用侧的“runJavaScript”按钮时,来触发前端页面的htmlTest()方法。● 前端页面代码。 <!--index.html--><!DOCTYPEhtml><html><body><sc......
  • Azure Data Factory(八)数据集验证之服务主体(Service Principal)
    一,引言如下图所示,今天我们接着上一篇内容,继续讲解AzureDataFactory中的数据集连接服务的认证方式:ServicePrincipal关于ServicePrincipal的创建可以参考:AzureAD(四)知识补充-服务主体至于需要给ServicePrincipal分配什么样的角色和权限,大家可以自行参考实际项目......
  • vue2原理初探-数据代理和数据劫持
    本篇文章主要想简单聊聊vue如何实现数据修改,页面联动的底层原理。当然,篇幅有限,只是自己一些浅显的认知而已,我会从一下几个方面去聊,希望对你有所帮助。几个基础知识点数据代理数据劫持完整demo 一、几个基础知识点1.普通函数和箭头函数的区别我们知道,每个函数执行都会......
  • 软件设计师数据流图(答题技巧)
    第一题:找出实体实体分为:人、系统、物。*根据说明和顶层图可以能够迅速的找出实体。第二题:找出存储文件*1、首先根据第一题中找出的实体并在0层图中备注出来。2、根据说明和实体可以很快的找出文件所对应图中的位置。第三题:找出缺失的数据流此题要跟据三个方面查找......
  • 数据库结构及PO
                  ......
  • Dynamic CRM调用WCF接口获取选项集的说明数据
    一、SQL语句:selectValueId,LabelName fromLocalizedLabelaleftjoinAttributePicklistValuebona.ObjectId=b.AttributePicklistValueIdleftjoinOptionSetconb.OptionSetId=c.OptionSetIdwherea.ComponentState=0andb.ComponentState=0a......
  • Java四大数据类型
    一、数据类型Java中的数据类型分为两大类,基本数据类型和引用数据类型。1、基本数据类型基本数据类型只有8种,可按照如下分类①整数类型:long、int、short、byte②浮点类型:float、double③字符类型:char④布尔类型:booleanNo.数据类型大小/位可表示数据范围默认值1byte(字节......
  • stata 数据显示格式%m,nfc含义
    ①Stata中数值变量显示的格式有三种。e为科学指数格式,f为固定格式,g为普通格式。表达式中“.”前数字代表变量的宽度,也就是所占的字符数。表达式中“.”后数字代表数值小数点后的数位。f后面加字母c则要求Stata给出带“,”的数字显示格式。举例:%9.2f代表该变量的宽度为9,小数点后......