现代企业处理信息的方式
- 联机事务处理 OLTP:以联机事务处理形式处理信息。采用联机收集和处理信息,然后再对收集到的经过处理的信息加以利用,并且不断更新已有的信息。
- 联机分析处理 OLAP:以联机分析处理形式处理信息,并利用信息帮助决策。是一种为支持决策而进行的处理信息的方式。而数据仓库是一种新的数据管理技术,能为联机分析处理提供支持。
- 在信息应用过程中管理信息(数据仓库、数据挖掘可为其提供支持)
数据库系统
-
数据库系统DBS由数据库(DB)和数据库管理系统(DBMS)组成。(这个是《管理信息系统》书上的话,在《数据库概论》中还有DBA和应用程序)
-
数据库是长期存储在计算机内,有组织的,可共享的大量数据的集合。
-
数据库模型
- 层次模型
- 网状模型
- 关系模型
-
数据库三级模式
- 外模式
- 模式
- 内模式
-
数据两级映射
- 外模式/模式映射:保证逻辑独立性
- 模式/内模式映射:保证物理独立性
-
数据库设计步骤
- 对现实世界进行需求分析
- 建立信息世界中的E-R(概念)模型
- 从E-R图(概念模型)中导出关系模型
数据仓库
- 数据仓库是一个面向主题的,集成的,非易失的,随时间变化的数据集合,用于支持管理决策。
- 数据仓库的数据导入一般需要ETL工具,即
- 数据抽取
- 转换
- 装载
- ETL过程包括
- 抽取
- 转换
- 清洗
- 装载 等步骤
- 数据仓库几乎没有update操作,数据可以冗余。
联机分析处理 OLAP
- 主要是对大量多维数据的动态综合、分析和归纳。
- OLAP 多维分析包括
- 切片和切块:切片降低维度,切块减少取值范围
- 钻取:钻取是按某个维度上的不同取值层次变换多维视图,钻取包含向上钻取和向下钻取。 如时间维度,可以按年月日分层次。
- 旋转/转轴:通过对多维视图中各个坐标的旋转变化可以得到不同视角的数据。
数据挖掘
- 数据挖掘是指从大量的数据中,自动发现隐藏的有用信息的过程。
- 数据挖掘的主要方式包括
- 分类
- 聚类
- 关联规则发现
- 时序模式发现
商业智能BI
- 商业智能(Business Intelligence, BI)是指通过对数据的收集、管理、分析以及转化,使数据成为可用的信息,并在企业中传递共享,从而帮助企业获得必要的洞察力和理解力,更好地辅助决策和指导行动。
- 从商业角度上看,是指从商业数据中发掘出关于销售趋势、客户购买习惯以及企业其他关键性能参数之类的重要信息,帮助企业做出明智的业务经营决策的工具。
- 从技术角度上看,是利用数据仓库,联机分析处理,数据挖掘等技术把数据转化为信息,再把信息转化为知识的工具。
大数据
- 大数据是指数据量规模巨大,数据类型复杂的数据集。
- 大数据有以下三个特点(书有点老了,实际早已经是5个特点了,简称5V,这本书里只写了3V,还有Veracity(具有真实性)和Value(价值密度低、商业价值高))
- 数据体量巨大(volumn)
- 数据总类多 (variety)
- 处理速度快 (velocity)