首页 > 其他分享 >大数据时代

大数据时代

时间:2023-09-04 23:35:50浏览次数:35  
标签:时代 机器 海量 数据 领域 多台 分布式

什么叫大数据:很大的数据?no 专业名词5v: 

volume:数据体量大(采集量,存储量,计算量,tb,PB级别起步)

variety:种类来源多样化

value:低价值密度(信息海量但价值密度低,深度复杂的挖掘分析需要机器学习的参与)

velocity:速度快(增长速度快,获取速度快,处理速度快)

veracity:数据质量(准确性,可信赖度)

大数据领域应用:

电商领域:精准广告位,个性化推荐,大数据杀熟

传媒领域:精准营销,猜你喜欢,交互推荐

金融领域:个人信用评估,风险承担能力评估

交通领域:交通拥堵预测,路线规划

电信领域:基站选址优化,用户画像

安防领域:预防犯罪

医疗领域:智慧医疗,疾病预防

问题:海量数据如何存储?海量数据如何计算?

分布式与集群:

分布式:多台机器每台机器不同组件

例如天猫商城,有不同的服务器负责不同的服务,相互配合对外服务

 

集群:u多台机器,每台部署相同组件

例如百度提供的中文搜索,针对于全球用户一台服务器远远不够,所以多台相同的提供相同服务的机器。

 

海量数据存储的方式:多台机器分布式存储

海量数据计算:多台机器分布式计算

 

标签:时代,机器,海量,数据,领域,多台,分布式
From: https://www.cnblogs.com/222wan/p/17678396.html

相关文章

  • 记一次eclipse导入的JavaEE项目无法连接数据库的排查
    1、问题描述Eclipse导入了一个JavaEE项目在虚拟机环境中新建了一个数据库数据库可以使用本地客户端工具正常连接导入的JavaEE项目修改了数据源配置无法启动相同的数据源配置通过在Idea新建的测试项目可以访问具体报错如下:java.sql.SQLRecoverableException:......
  • Python时间序列分析苹果股票数据:分解、平稳性检验、滤波器、滑动窗口平滑、移动平均
    全文链接:https://tecdat.cn/?p=33550原文出处:拓端数据部落公众号什么是时间序列?时间序列是一系列按时间顺序排列的观测数据。数据序列可以是等间隔的,具有特定频率,也可以是不规则间隔的,比如电话通话记录。在进行投资和交易研究时,对于时间序列数据及其操作要有专业的理解。本文......
  • 如何在Java中连接MySQL数据库并实现增删改查操作
    要在Java中连接MySQL数据库并实现增删改查操作,你需要遵循以下步骤:导入所需的Java库:你需要导入Java中与MySQL连接和操作相关的库。常用的库包括JDBC(JavaDatabaseConnectivity)和MySQL驱动程序。importjava.sql.*;建立数据库连接:使用JDBC连接MySQL数据库,你需要提供数据库的URL、用......
  • MySQL数据库
    正在学习软件测试--MySQL数据库,本文内容是我总结的一些MySQL发展史、概念和常用命令总结。本文用的是服务器,运用Docker容器进行部署的MySQLMySQL数据库MySQL发展史数据库从20实际50年代中期开始,计算机应用有科学研究逐渐扩展到企业、行政等社会的各个领域,数据处理已成为计算机的主......
  • 人大金仓数据库设置大小写敏感
    人大金仓数据库设置大小写敏感初识人大金仓(Kingbase)是中国人民大学信息技术中心开发的一款关系型数据库管理系统(DBMS)。它是基于PostgreSQL开发的,具有与PostgreSQL兼容的语法和功能,同时也提供了一些特定的优化和扩展,以满足特定的商业需求。特点高度兼容性:人大金仓兼容Pos......
  • 14.MySQL数据库设计详解
    MySQL数据库设计需要根据具体的业务需求和数据模型来制定,以下是一个示例数据库设计,包括创建表、定义索引、外键关系和示例数据插入的MySQL代码。这个示例涵盖了一个简单的电子商务系统,包括用户、产品和订单数据。--创建用户表CREATETABLEusers(user_idINTAUTO_INCREM......
  • 13.mysql数据修改操作
    以下是一些MySQL数据修改操作示例,包括单表查询和多表查询,以及相应的示例数据表。单表修改操作:假设我们有一个名为employees的表,用于存储员工信息:CREATETABLEemployees(employee_idINTPRIMARYKEY,first_nameVARCHAR(255),last_nameVARCHAR(255),......
  • openGauss学习笔记-60 openGauss 数据库管理-逻辑存储结构
    openGauss学习笔记-60openGauss数据库管理-逻辑存储结构openGauss的数据库节点负责存储数据,其存储介质也是磁盘,本节主要从逻辑视角介绍数据库节点都有哪些对象,以及这些对象之间的关系。数据库逻辑结构如图1。图1数据库逻辑结构图说明:Tablespace,即表空间,是一个目录,可......
  • MySQL数据库
    一、SQL1.简介SQL(StructuredQueryLanguage)结构化查询语言;它是一种数据库查询和程序设计语言,同时也是目前使用最广泛的关系型数据库操作语言。2.分类2.1DQL(DataQueryLanguage)数据查询语言DQL主要用于数据的查询,其基本结构是使用SELECT子句,FROM子句和WHERE子句的组......
  • xpath数据解析
    xpath:最常用且最高效便捷的一种解析方式。语言通用性。数据解析需求首选XPath解析。path解析原理1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中2.调用etree对象的xpath方法结合着xpath表达式实现实现标签的定位和内容的捕获。一.环境的......