第2章 信息技术发展
信息技术是在信息科学的基本原理和方法下,获取信息、处理信息、传输信息和使用信息的应用技术总称。信息技术是实现信息化的手段,是信息系统建设的基础。
2.1信息技术及其发展
信息技术是以微电子学为基础的计算机技术和电信技术的结合而形成的,对声音的、图像的、文字的、数字的和各种传感信号的信息进行获取、加工、处理、存储、传播和使用的技术。
按表现形态的不同,信息技术可分为硬技术(物化技术)与软技术(非物化技术)。前者指各种信息设备及其功能,如传感器、服务器、智能手机、通信卫星、笔记本电脑。后者指有关信息获取与处理的各种知识、方法与技能,如语言文字技术、数据统计分析技术、规划决策技术、计算机软件技术等。
2.1.1计算机软硬件
计算机硬件(Computer Hardware)是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体,为计算机软件运行提供物质基础。
计算机软件(Computer Software)是指计算机系统中的程序及其文档,程序是计算任务的处理对象和处理规则的描述;文档是为了便于了解程序所彻的阐明性资料。
硬件和软件互相依存。硬件是软件赖以工作的物质基础,软件的正常工作是硬件发挥作用的重要途径。随着计算机技术的发展,在许多悄况下,计算机的某些功能既可以由硬件实现,也可以由软件来实现。因此硬件与软件在一定意义上来说没有绝对严格的界线。
2.1.2计算机网络
在计算机领域中,网络就是用物理链路将各个孤立的工作站或主机相连在一起,组成数据链路,从而达到资源共享和通信的目的。凡将地理位置不同,并具有独立功能的多个计算机系统通过通信设备和线路连接起来,且以功能完善的网络软件(网络协议、信息交换方式及网络操作系统等)实现网络资源共享的系统,均可称为计算机网络。从网络的作用范围可将网络类别划分为个入局域网(PersonalAreaNetwork,PAN)、局域网(Local Area Network, LAN)、城域网(Metropolitan Area Network, MAN)、广域网(Wide Area Network, WAN)、公用网(Public Network)、专用网(Private Network)。
1.网络标准协议
网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。语义是解释控制信息每个部分的含义,它规定了需要发出何种控制信息,完成的动作以及做出什么样的响应;语法是用户数据与控制信息的结构与格式,以及数据出现的顺序:时序是对事件发生顺序的详细说明。
- OSI:国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互连参考模型(Open System Interconnect ,OSI)。OSI采用了分层的结构化技术,从下到上共分物理层、数据链路层、网络层、传输层、会话层、表示匣和应用层。
广域网协议是在OSI参考模型的最下面三层操作,定义了在不同的广域网介质上的通信。广域网协议主要包括:PPP点对点协议、ISDN综合业务数字网、xDSL(DSL数字用户线路的统称:HDSL、SDSL、MVL、ADSL)、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。 - IEEE802协议:定义了煦卡如何访问传输介质(如光缆、双绞线、无线等),以及如何在传输介质上传输数据的方法,还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。赵循IEEE802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。
IEEE802规范包括:802.I(802协议概论)、802.2(逻辑链路控制层LLC协议)、802.3(以太网的CSMA/CD载波监听多路访问/冲突检测协议)、802.4(令牌总线Token Bus协议)、802.5(令牌环Token Ring协议)、802.6(城域网MAN协议)、802.7(FDDI宽带技术协议)、802.8(光纤技术协议)、802.9(局域网上的语音/数据集成规范)、802.10(局域网安全互操作标准)、802.II(无线局域网WLAN标准协议)。 - TCP/IP:Internet是一个包括成千上万相互协作的组织和网络的集合体。TCP/IP是Internet的核心。
TCP/IP在一定程度上参考了0Sl,将OSI的七层简化为四层:应用层、表示层、会话层三个层次提供的服务相差不是很大,所以在TCP/IP中,它们被合并为应用层一个层次。传输层和网络层在网络协议中的地位十分重要,所以在TCP/IP中它们被作为独立的两个层次。数据链路层和物理层的内容相差不多,所以在TCP/IP中它们被归并在网络接口层一个层次里。
在应用层中,定义了很多面向应用的协议,应用程序通过本层协议利用网络完成数据交互的任务。
基于TCP | 基于UDP |
FTP(File Transfer Protocol,文件传输协议,控制端口21数据端口20) | SNMP(Simple Network Management Protocol,简单网络管理协议,161端口接收和发送请求,162端口接收trap) |
HTTP(Hypertext Transfer Protocol,超文本传输协议,端口80) | TFTP(Trivial File Transfer Protocol,简单文件传输协议,端口69) |
SSH(Secure Shel,安全外壳协议,端口22) | DHCP(Dynamic Host Configuration Protocol,动态主机配置协议,端口53)、Telnet(远程登录协议,端口22) |
HTTPS(Hypertext Transfer Protocol Secure,端口443) | DNS(Domain Name System,域名系统,端口53) |
SMTP(Simple Mail Transfer Protocol,简单邮件传输协议,端口25) | |
POP3(Post Office Protocol - Version 3,邮局协议版本3,端口110) | |
IMAP(Internet Message Access Protocol,交互邮件访问协议端口143) |
传输层主要有两个传输协议,分别是TCP(传输控制协议,Transmission Control Protocol)和UDP (用户数据报协议,User Datagram Protocol),这些协议负贵提供流朵控制、错误校验和排序服务。
网络层中的协议主要有IP(网络协议,Internet Protocol)、ICMP(Internet Control Message Protocol,网际控制报文协议)、IGMP(lnternet Group Management Protocol,网际组管理协议)、ARP(Address Resolution Protocol,地址解析协议)和RARP(Reverse Address Resolution Protocol,反向地址解析协议)等,这些协议处理信息的路由和主机地址解析。
由于网络接口层兼并了物理层和数据链路层,所以网络接口层既是传输数据的物理媒介,也可以为网络层提供一条准确无误的线路。
2.软件定义网络
软件定义网络(Software Defined Network, SDN)是一种新型网络创新架构,是网络虚拟化的一种实现方式,它可通过软件编程的形式定义和控制网络,其通过将网络设备的控制面与数据面分离开来。
利用分层的思想,SDN将数据与控制相分离。在控制层,包括具有逻辑中心化和可编程的控制器,可掌握全局阿络信息,方便运营商和科研人员管理配置网络和部署新协议等。在数据层,包括哑交换机(与传统的二层交换机不同,专指用于转发数据的设备),仅提供简单的效据转发功能,可以快速处理匹配的数据包,适应流位日益增长虳衙求。两层之间采用开放的统一接口(如Openflow等)进行交互。控制器通过标准接口向交换机下发统一标准规则,交换机仅需按照这些规则执行相应的动作即可。SDN打破了传统网络设备的封闭性。
SDN的整体架构由下到上(由南到北)分为数据平面、控制平面和应用平面。其中,数据平面由交换机等网络通用硬件组成,各个网络设备之间通过不同规则形成的SDN数据通路连接;控制平面包含了逻辑上为中心的SDN控制器,它掌握着全局网络信息,负贲各种转发规则的控制;应用平面包含沿各种基于SDN的网络应用,用户无须关心底层细节就可以编程、部署新应用。
控制平面与数据平面之间通过 SDN 控制数据平面接口 (Control-Data-Plane Interface, CDPI) 进行通信,它具有统一的通信标准,主要负贡将控制器中的转发规则下发至转发设备,最主要应用的是OpenFlow协议。控制平面与应用平面之间通过SDN北向接口(North Bound Interface, NBI)进行通信,而NBI并非统一标准,它允许用户根据自身需求定制开发各种网络管理应用。
SDN中的接口具有开放性,以控制器为逻辑中心,南向接口负责与数据平面进行通信,北向接口负责与应用平面进行通信,东西向接口负责多控制器之间的通信。最主流的南向接口CDP!采用的是OpenFlow协议。OpenFlow最基本的特点是基于流(Flow)的概念来匹配转发规则,每一个交换机都维护一个流表(FlowTable),依据流表中的转发规则进行转发,而流表的建立、维护和下发都是由控制器完成的。针对北向接口,应用程序通过北向接口编程来调用所需的各种网络资源,实现对网络的快速配置和部署。东西向按门使控制器具有可扩展性,为负载均衡和性能提升提供了技术保障。
3第五代移动通信技术
第五代移动通信技术(5th Generation Mobile Communication Technology, 5G)是具有高速率、低时延和大连接特点的新一代移动通信技术。国际电信联盟(JTU) 定义了 5G 的八大指标:
5G 国际技术标准重点满足灵活多样的物联网需要。在正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)和多入多出(Multiple Input Multiple Output, MIMO)基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同, 5G同时支待中低频和高频频段。为了支持高速率传输和更优覆盖,5G采用LDPC(一种具有稀疏校验矩阵的分组纠错码)、Polar(一种基于信道极化理论的线性分组码)新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。
国际电信联盟(ITU)定义了5G的三大类应用场景,即增强移动宽带(eMBB)、超高可靠低时延通信(uRLLC)和海量机器类通信(mMTC)。增强移动宽带主要面向移动互联网流量爆炸式增长,为移动互联网用户提供更加极致的应用体验;超高可靠低时延通信主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求:海量机器类通信主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。
2.1.3存储和数据库
1.存储技术
存储分类根据服务器类型分为:封闭系统的存储和开放系统的存储。封闭系统主要指大型机等服务器。开放系统指基于包括麒麟、欧拉、UNIX、Linux等橾作系统的服务器。开放系统的存储分为:内置存储和外挂存储。外挂存储根据连接的方式分为直连式存储(Direct-Attached Storage, DAS)和网络化存储(Fabric-Attached Storage, FAS)。网络化存储根据传输协议又分为网络接入存储(Network-Attached Storage, NAS)和存储区域网络(Storage Area Network, SAN)。
存储虚拟化(Storage Virtualization)是“云存储”的核心技术之一,它把来自一个或多个网络的存储资源整合起来,向用户提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。用户在访问数据时并不知道真实的物理位置。存储虚拟化提高了存储利用率,降低了存储成本,简化了大型、复杂、异构的存储环境的管理工作。
存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似千文件系统的逻辑容器。它隐藏了每个存储设备的特性,形成一个统一的模型,为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源,提告资源利用率和灵活性、应用正常运行时间。
绿色存储(Green Storage)技术是指从节能环保的角度出发,用来设计生产能效更佳的存储产品,降低数据存储设备的功耗,提高存储设备每瓦性能的技术。绿色存储是一个系统设计方案,贯穿千整个存储设计过程,包含存储系统的外部环境、存储架构、存储产品、存储技术、文件系统和软件配置等多方面因素。
绿色存储技术涉及所有存储分享技术,包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、觅复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术,其目的是提高所有网络存储技术的能源效率。
2数据结构模型
数据结构模型是数据库系统的核心。数据结构换型描述了在数据库中结构化和操纵数据的方法,模型的结构部分规定了数据如何被描述(例如树、表等)。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排列和更新等操作。常见的数据结构模型有三种:层次模型、网状模型和关系模型,层次模型和网状模型又统称为格式化数据模型。
- 层次模型:层次模型是数据库系统最早使用的一种模型,它用“树”结构表示实体集之间的关联,其中实体集(用矩形框表示)为结点,而树中各结点之间的连线表示它们之间的关联。层次模型中任何一个给定的记录值只能按其层次路径查看,没有一个子女记录值能够脱离双亲记录值而独立存在。
- 网状模型:网状模型是一种可以灵活地描述事物及其之间关系的数据库模型。用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。
- 关系模型:关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。关系模型的基本原理是信息原理,即所有信息都表示为关系中的数据值。关系变量在设计时是相互无关联的;反而,设计者在多个关系变量中使用相同的域,如果一个属性依赖于另一个属性,则通过参照完整性来强制这种依赖性。
3常用数据库类型
数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not Only SQL, NoSQL)。
l)关系型数据库:关系型数据库采用关系模型作为数据的组织方式。关系数据库是在一个给定的应用领域中,所有实体及实体之间联系的集合。关系型数据库支持事务的ACID原则,即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)这四种原则保证在事务过程当中数据的正确性。
2)非关系型数据库:
非关系型数掘库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。NoSQL数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。
常见的非关系数据库分为:
键值数据库:类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据库,因为使用key主键访问,会获得很高的性能及扩展性。Key/Value极型对于信息系统来说,其优势在于简单、易部署、高并发。
列存储(Column-oriented)数据库:将数据存储在列族中,一个列族存储常被一起查询,比如人们经常会查询某个人的姓名和年龄,而不是薪资。这种悄况下姓名和年龄会被放到一个列族中,薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据。
面向文档(Document-Oriented)数据库:文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值,而且文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储。
图形数据库:允许人们将数据以图的方式存储。实体会作为顶点,而实体之间的关系则会作为边。
3)不同存储方式数据库的优缺点
4数据仓库
传统的数据库系统中缺乏决策分析所需的大盘历史数据信息,因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要,在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境—一数据仓库。数据仓库相关的基础概念包括
消洗/转换/加载(Extract/Transformation/Load, ETL):用户从数据源抽取出所有的数据,经过数据清洗、转换,奻终按照预先定义好的数据仓库模型,将数据加载到数据仓 库中去。
元数据:关于数据的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息。典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。
粒度:数据仓库的数据单付中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
分割:结构相同的数据被分成多个数据物理单元。任何给定的数据单元屈于且仅屈千一个分割。
数据集市:小型的,面向部门或工作组级的数据仓库。
操作数据存储(Operation Data Store, ODS):能支持组织日常的全局应用的数据集合,是不同千DB的一种新的数据环埮,是DW扩展后得到的一个混合形式。它具有四个
基本特点:面向主题的、集成的、可变的、当前或接近当前的。
数据模型:逻辑数据结构,包括由数据库管理系统为有效进行数据库处理提供的操作和约束;用于表示数据的系统。
人工关系:在决策支待系统环境中用1一表示参照完整性的一种设计技术。
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用于支持管理决策。
- 数据源。它是数据仓库系统的基础,是整个系统的数据源泉。通常包括组织内部信息和外部信息。内部信息包括存放千关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
- 数据的存储与管理。它是整个数据仓库系统的核心。数据仓库的组织管理方式决定了它有别千传统数据库,同时也决定了其对外部数据的表现形式。针对现有各业务系统的数据,进行抽取、消理并有效集成,按照主题进行组织。数据仓库按照数据的稷盖范围可以分为组织级数据仓库和部门级数据仓库(通常称为数据集市)。
- 联机分析处理(On-LineAnalyticProcessing,OLAP)服务器。OLAP对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:基于关系数据库的OLAP(Relational OLAP, ROLAP)、基于多维数据组织的OLAP(Multidimensional OLAP, MOLAP)和基于混合数据组织的OLAP(Hybrid OLAP, HOLAP)。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放千多维数据库中;HOLAP基本数据存放千关系数据库管理系统(Relational Database Management System, RDBMS)之中,聚合数据存放于多维数据库中。
- 前端工具。前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
2.1.4信息安全
常见的信息安全问题主要表现为:计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有告信息泛滥、个人隐私泄露等。随着物联网、云计鍔、人工智能、大数据等新一代信息技术的广泛应用,信息安全也面临着新的问题和挑战。
1.信息安全基础
信息安全强调信息(数据)本身的安全属性,主要包括以下内容。
保密性(Confidentiality):信息不被未授权者知晓的属性。
完整性(Integrity):信息是正确的、真实的、未被尊改的、完整无缺的属性。
可用性(Availability):信息可以随时正常使用的属性9信息必须依赖其存储、传输、处理及应用的载体(媒介)而存在,因此针对信息系统,安全可以划分为四个层次:设备安全、数据安全、内容安全、行为安全。
信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成。与此对应,信息系统安全主要包括计算机设备安全、网络安全、操作系统安全、数据库系统安全和应用系统安全等。
网络安全技术主要包括:防火墙、入侵检测与防护、VPN、安全扫描、网络蜜罐技术、用户和实体行为分析技术等。
2加密解密
为了保证信息的安全性,就需要采用信息加密技术对信息进行伪装,使得信息非法窃取者无法理解信息的真实含义;豁要采用加密算法提取信息的特征码(校验码)或特征矢量,并与有关信息封装在一起,信息的合法拥有者可以利用特征码对信息的完整性进行校验;需要采用加密算法对信息使用者的身份进行认证、识别和确认,以对信息的使用进行控制。
发信者将明文数据加密成密文,然后将密文数据送入网络传输或存入计算机文件,而且只给合法收信者分配密钥。合法收信者接收到密文后,实行与加密变换相逆的变换,去掉密文的伪装并恢复出明文,这一过程称为解密(Decryption)。解密在解密密钥的控制下进行。用于解密的一组数学变换称为解密算法。加密技术包括两个元素:算法和密钥。
密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制。相应地,对数据加密的技术分为两类,即对称加密(私人密钥加密)和非对称加密(公升密钥加密)。对称加密以数踞加密标准(Data Encryption Standard, DES)算法为典型代表,非对称加密通常以RSA(Rivest Shamir Adleman)算法为代表。对称加密的加密密钥和解密密钥相同,而非对称加密的加密和解密密钥不同,加密密钥可以公开而解密密钥需要保密。
3.安全行为分析技术
传统安全产品、技术、方案基本都是基于已知特征进行规则匹配来进行分析和检测。基于特征、规则和人下分析,以“特征”为核心的检测分析存在安全可见性盲区,有滞后效应、容易被绕过,以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等问题。另一方面,虽然大多数的攻击可能来自组织以外,但严重的损害往往是内部人员造成的,只有管理好内部威胁,才能保证信息和阿络安全。
用户和实体行为分析(User and Entity Behavior Analytics, UEBA)提供了用户画像及基于各种分析方法的异常检测,结合基本分析方法(利用签名的规则、模式匹配、简单统计、阙值等)和高级分析方法(监督和无监督的机器学习等),用打包分析来评估用户和其他实体(主机、应用程疗、网络、数据库等),发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。
UEBA是一个完整的系统,涉及符法、工程等检劓部分,以及用户与实体风险评分排序、调杳等用户交换和反锁。从架构上来看,UEBA系统通常包括数据获取层、算法分析层和场烘应用层。
4网络安全态势感知
网络安全态势感知(Network Security Situation Awareness)是在大规倓网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示,并据此预测未来的网络安全发展趋势。它是一种基十环境的、动态的、整体的洞悉安全风险的能力。在安全大数据的基础上进行数据整合、特征提取等,然后应用一系列态势评估符法生成网络的整体态势状况,应用态势预测算法预测态势的发展状况,并使用数据可视化技术,将态势状况和预测情况展示给安全人员。
网络安全态势感知的关键技术主要包括:海量多元异构数据的汇聚融合技术、面向多类型的网络安全威胁评估技术、网络安全态势评估与决策支撑技术、网络安全态势可视化等。
2.1.5信息技术的发展
作为信息技术的基础,计算机软硬件、阿络、存储和数据库、信息安全等都在不断的发展创新,引领蓿当前信息技术发展的潮流。
在计算机软硬件方面,计算机硬件技术将向超高速、超小型、平行处理、智能化的方向发展,计算机硬件设备的体积越来越小、速度越来越高、容量越来越大、功耗越来越低、可靠性越来越高。计算机软件越来越丰富,功能越来越强大,“软件定义一切”概念成为当前发展的主流。
在网络技术方面,计算机阿络与通信技术之间的联系日益密切,甚至是已经融为一体。作为国家最蓝要的基础设施之一,5G成为当前的主流,面向物联网、低时延场景的窄带物联网(Narrow Band Internet of Things, NB-IoT)和增强型机器类型通信(enhanced Machine-Type Communication, eMTC)、工业物联陨(Industrial Internet of Things, lloT)和低延时高可靠通信(Ultra Reliable Low Latency Communication, URLLC)等技术,将进一步得到充分发展。
在存储和数据库方面,数据量的不断爆炸式增长推动数据库技术不断向着模型拓展、架构解耦的方向演进。在信息安全方面,传统计算机安全理念将过渡到以可信计算理念为核心的计算机安全,由网络普及应用引发的技术与应用模式的变革,正在进一步推动信息安全网络化关键技术的创新;同时信息安全标准的研究与制定,信息安全产品和服务的集成和融合,正引领着当前信息安全技术标准化和集成化发展。
2.2新—代信息技术及应用
信息技术在智能化、系统化、微型化、云端化的基础上不断副合创新,促进了物联网、云计算、大数据、区块链、人工智能、虚拟现实等新一代信息技术的诞生,新一代信息技术与信息资源充分开发利用形成的新模式、新业态等,是信息化发展的主要趋势,也是信息系统集成领域未来的重要业务范畴。
2.2.1物联网
物联网(The Internet of Things)是指通过信息传感设各,按约定的协议将任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的网络。物联网主要解决物品与物品(Thing to Thing, T2T)、人与物品(Human to Thing, H2T)、人与入(Human to Human, H2H)之间的互连。另外,许多学者在讨论物联网时经常会引入M2M的概念:可以解释为人与人(Man to Man)、人与机器(Man to Machine)或机器与机器(Machine to Machine)。
1技术基础
物联网架构可分为三层:感知层、网络层和应用层。
感知层由各种传感器构成,包括温度传感器,二维码标签、RFID标签和读写器,摄像头,GPS等感知终端。感知层是物联网识别物体、采集信息的来源。
网络层由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成,是整个物联网的中枢,负责传递和处理感知层获取的信息。
应用层是物联陨和用户的接口,它与行业需求结合以实现物联际的智能应用。
物联网的产业链包括传感器和芯片、设备、网络运营及服务、软件与应用开发和系统集成。物联网技术在智能电网、智慧物流、智能家居、智能交通、智慧农业、环境保护、医疗健康、城市管理(智慧城市)、金融服务与保险业、公共安全等方面有非常关键和重要的应用。
2关键技术
物联网关键技术主要涉及传感器技术、传感网和应用系统框架等。
- 传感器技术:传感器是一种检测装置,它能“感受”到被测量的信息,并能将检测到的信息按一定规律变换成为电信号或其他所摇形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节,也是物联网获取物理世界信息的基本手段。
射频识别技术(Radio Frequency Identification, RFID)是物联网中使用的一种传感器技术,在物联网发展中备受关注。RIFD可通过无线电信号识别特定目标并读写相关数据,而无须识别系统与特定目标之间建立机械或光学接触。 - 传感网
微机电系统(Micro-Electro-Mechanical Systems, MEMS)是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅地提高系统的自动化、智能化和可靠性水平。 - 应用系统框架
物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制,涉及5个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。该框架基于云计算平台和智能网络,可以依据传感器网络获取的数据进行决策,改变对象的行为控制和反馈。
3应用和发展
在工业、衣业、环境、交通、物流、安保等基础设施领域的应用,有效地推动了这些方面的智能化发展,使得有限的资源能更加合理地使用分配;在家居、医疗健康、教育、金触与服务业、旅游业等领域的应用,通过与社会科学和社会治理的充分融合,实现了服务范围、服务方式和服务质量等方面的巨大变革和进步。
2.2.2云计算
云计算(Cloud Computing)是分布式计算的一种,在云计算早期,就是简单的分布式计算,进行任务分发并对计算结果进行合并。当前的云计算已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。
1.技术基础
云计算是一种基于互联网的计算方式,通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源,按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中,用户与实际服务提供的计算资源相分离,云端集合了计算设备和资源。
当使用云计算服务时,用户不需要安排专门的维护人员,云计算服务的提供商会为数据和服务器的安全做出相对较高水平的保护。由于云计算将数据存储在云端(分布式的云计算设备中承担计算和存储功能的部分),业务逻辑和相关计算都在云端完成,因此,终端只需要一个能够满足基础应用的普通设备即可。
云计算实现了“快速、按需、弹性”的服务,用户可以随时通过宽带网络接入“云”并获得服务,按照实际需求获取或释放资源,根据需求对资源进行动态扩展。按照云计算服务提供的资源层次,可以分为基础设施即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service, PaaS)和软件即服务(Software as a Service, SaaS)三种服务类型。
IaaS向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,其单纯出租资源的盈利能力有限。
PaaS向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在千直接的经济效益,而更注重构建和形成紧密的产业生态。
SaaS向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web技术和SOA架构,通过Internet向用户提供多租户、可定制的应用能力,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
2.关键技术
云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。
- 虚拟化技术:虚拟化是一个广义术语,在计算机领域通常是指计算元件在虚拟的基础上而不是直实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显话提高计算机的工作效率。
容器(Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。使用容器技术可将应用隔离在一个独立的运行环境中,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。 - 云存储技术:云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海批数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。分布式文件系统作为云存储技术中的重要组成部分,在维待兼容性的基础上,对系统复制和容错功能进行提升。
- 多租户和访问控制管理:云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。
云计算访问控制模型就是按照特定的访问策略来描述安全系统,建立安全模型的一种方法。根据访问控制模型功能的不同,研究的内容和方法也不同,常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制等。 - 云安全技术:云安全研究主要包含两个方面的内容,一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;二是借助于云服务的方式来保障客户端用户的安全防护需求,通过云计算技术来实现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。在云安全技术的研究方面,主要包含:
云计算安全性:主要是对于云自身以及所涉及的应用服务内容进行分析,重点探讨其相应的安全性间题,这里主要涉及如何有效实现安全隔离,保降互联网用户数据的安全性,如何有效防护恶意网络攻击,提升云计算平台的系统安全性,以及用户接入认证以及相应的信息传输审计、安全等方面的工作。
保障云基础设施的安全性:主要就是如何利用相应的互联网安全基础设备的相应资源,有效实现云服务的优化,从而保赔满足预期的安全防护的要求。
云安全技术服务:如何保障实现互联网终端用户的安全服务要求,能有效实现客户端的计算机病毒防治等相关服务工作。从云安全架构的发展情况来看,如果云计算服务筒的安全等级不高,会造成服务用户需要具备更强的安全能力、承担更多管理职责。
为了提升云安全体系的能力,保陷其具有较强的可靠性,云安全技术要从开放性、安全保障体系结构的角度考虑。
- 云安全系统具有一定的开放性,要保障开放环境下可信认证:
- 在云安全系统方面,要积极采用先进的网络技术和病毒防护技术;
- 在云安全体系构建过程中,要保证其稳定性,以满足海量数据动态变化的需求。
3.应用和发展
云计算经历十余年的发展,已逐步进入成熟期,在众多领域正发挥着越来越大的作用,“上云”将成为各类组织加快数字化转型、鼓励技术创新和促进业务增长的第一选择,甚至是必备的前提条件。
云计算将进一步成为创新技术和最佳工程实践的重要载体和试验场。从AI与机器学习、IoT与边缘计算、区块链到工程实践领域的DevOps、云原生和Service Mesh,都有云计算厂商积极参与、投入和推广的身影。以人工智能为例,从前而提到的TaaS中GPU计算资源的提供,到面向特定领域成熟模型能力开放(如各类自然语言处理、图像识别、语言合成的API),再到帮助打造定制化AJ模型的机器学习平台,云计算实际上已成为Al相关技术的基础。
云计算将顺应产业互联网大潮,下沉行业场景,向垂直化、产业化纵深发展。“创新、垂直、混合、生态”这四大趋势伴随云计算快速发展。云计算对IT硬件资源与软件组件进行了标准化、抽象化和规模化。
2.2.3大数据
大数据(Big Data)指无法在一定时间范困内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
1.技术基础
大数据是具有体益大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计贷架构和智能算法等新技术。大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程,涉及数据模型、处理膜型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质橄控制等方面的研究。一般来说,大数据主要特征包括:
数据海量:从TB级别跃升到PB级别(IPB=l024TB)、EB级别(IEB=I024PB),甚至达到ZB级别(IZB=I024EB)。
数据类型多样:大数据的数据类型繁多,一般分为结构化数据和非结构化数据。相对于以往便千存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
数据价值密度低:数据价值密度的高低与数据总豐的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值”提纯”,成为目前大数据背景下亟待解决的难题。
数据处理速度快:为了从海量的数据中快速挖掘数据价值,一般要求要对不同类型的数据进行快速的处理,这是大数据区分于传统数据挖掘的最显著特征。
2关键技术
大数据技术作为信息化时代的一项新兴技术,涉及数据的处理、管理、应用等多个方面。具体来说,技术架构是从技术视角研究和分析大数据的获取、管理、分布式处理和应用等。大数据技术架构主要包含大数据获取技术、分布式数据处理技术和大数据管理技术,以及大数据应用和服务技术。
- 大数据获取技术
目前,大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获取,然后通过整合和清理技术保证数据质量。
数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术,从网站上获取数据信息。除了网络中包含的内容之外,对于网络流费的采集可以使用DPI或DFI等带宽管理技术进行处理。
数据整合技术是在数据采集和实体识别的基础上,实现数据到信息的高质证整合。数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换校型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
数据清洗技术一般根据正确性条件和数据约束规则,清除不合理和错误的数据,对重要的信息进行修复,保证数据的完整性。包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。 - 分布式数据处理技术
分布式计算是随着分布式系统的发展而兴起的,其核心是将任务分解成许多小的部分,分配给多台计算机进行处理,通过并行工作的机制,达到节约整体计算时间,提高计算效率的目的。目前,主流的分布式计算系统有Hadoop、Spark和Storm。Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的实时的大数据处理。
大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术:升发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;创新基于对象的数据连接、相似性连接等大数据融合技术:突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。 - 大数据管理技术
大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。大数据存储技术主要有三个方面。采用MPP架构的新型数据库集群;围绕Hadoop衍生出相关的大数据技术;基于集成的服务器、存储设备、操作系统、数据库管理系统,实现具有良好的稳定性、扩展性的大数据一体机。
多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡,整合多个数据中心的存储和计算资源,从而为构建大数据服务平台提供支撑。
大数据隐私性技术的研究,主要集中于新型数据发布技术,尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。 - 大数据应用和服务技术
大数据应用和服务技术主要包含分析应用技术和可视化技术。大数据分析应用主要是面向业务的分析应用。在分布式海位数据分析和挖掘的基础上,大数据分析应用技术以业务摇求为驱动,面向不同类型的业务需求开展专题数据分析,为用户提供高可用、高易用的数据分析服务。
可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术方面,主要关注原位交互分析(In-Situ Interactive Analysis)、数据表示、不确定性散化和面向领域的可视化工具库。
3.应用和发展
- 在互联网行业,从大榄的数据中挖掘用户行为,反向传输到业务领域,支持更准确的社会营销和广告,可增加业务收入,促进业务发展、。
- 在政府的公共数据领域,结合大数据的采集、治理和集成,将各个部门搜集的信息进行剖析和共享,能够发现管理上的漏洞,增进财税增收和加大市场监管程度,大大改变政府管理模式提高社会治理水平。
- 在金融领域,大数据征信是重要的应用领域。通过大数据的分析和画像,为金融业务提供有效支撑。
- 在工业领域,结合海压的数据分析,能够为工业生产过程提供准确的指导。
- 在社会民生领域,大数据的分析应用能够更好地为民生服务。
2.2.4区块链
“区块链”概念于2008年在《比特币:一种点对点电子现金系统》中被首次提出,并在比特币系统的数据加密货币体系中成功应用,已成为政府、组织和学者等重点关注和研究的热点。区块链技术具有多中心化存储、隐私保护、防篡改等特点,提供了开放、分散和容错的事务机制,成为新一代匿名在线支付、汇款和数字资产交易的核心,被广泛应用于各大交易平台,为金融、监管机构、科技创新、农业以及政治等领域带来了深刻的变革。
1.技术基础
区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树(MerkleTree)为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。区块链分为公有链(PublicBlockchain)、联盟链(ConsortiumBlockchain)、私有链(PrivateBlockchain)和混合链(HybridBlcokchain)四大类。
一般来说,区块链的典型特征包括:
多中心化:链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构,运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系,从而建立可信的分布式系统。
多方维护:激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程,并通过共识机制选择特定节点将新产生的区块加入到区块链中。
时序数据:区块链运用带有时间戳信息的链式结构来存储数据信息,为数据信息添加时间维度的属性,从而可实现数据信息的可追溯性。
智能合约:区块链技术能够为用户提供灵活可变的脚本代码,以支持其创建新型的智能合约。
不可篡改:在区块链系统中,因为相邻区块间后序区块可对前序区块进行验证,若篡改某一区块的数据信息,则衙递归修改该区块及其所有后序区块的数据信息,然而每一次哈希的重新计算代价是巨大的,且须在有限时间内完成,因此可保障链上数据的不可篡改性。
开放共识:在区块链网络中,每台物理设备均可作为该网络中的一个节点,任意节点可自由加入且拥有一份完整的数据库拷贝.
安全可信:数据安全可通过基于非对称加密技术对链上数据进行加密来实现,分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改和伪造,从而具有较高的保密性、可信性和安全性。
2.关键技术
从区块链的技术体系视角看,区块链基于底层的数据基础处理、管理和存储技术,以区块数据的管理、链式结构的数据、数字签名、哈希函数、默克尔树、非对称加密等,通过基于P2P网络的对称式网络,组织节点参与数据的传播和验证,每个节点均会承担网络路由、验证区块数据、传播区块数据、记录交易数据、发现新节点等功能,包含传播机制和验证机制。为保陷区块链应用层的安全,通过激励层的发行机制和分配机制,在整个分布式网络的节点以最高效率的方式达成共识。
- 分布式账本
分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们可以参与监督交易合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来。
分布式账本中存储的资产是指法律认可的合法资产,如金融、实体、电子的资产等任何形式的有价资产。为了确保资产的安全性和准确性,分布式账本一方面通过公私钥以及签名控制账本的访问权;另一方面根据共识的规则,账本中的信息更新可以由一个、一部分人或者是所有参与者共同完成。
分布式账本技术能够保障资产的安全性和准确性,具有广泛的应用场景,特别在公共服务领域,能够重新定义政府与公民在数据分享、透明度和信任意义上的关系,目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。 - 加密算法
区块链系统中的加密算法一般分为散列(哈希)算法和非对称加密算法。
散列算法也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的:即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。本质上,散列算法的目的不是为了“加密”而是为了抽取“数据特征”,也可以把给定数据的散列值理解为该数据的”指纹信息"。典型的散列算法有MD5、SHA-I/SHA-2和SM3,目前区块链主要使用SHA-2中的SHA256算法。
非对称加密算法由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括RSA、Elgamal、D-H、ECC(椭圆曲线加密算法)等。 - 共识机制
区块链共识问题需要通过区块链的共识机制来解决。共识算法能保证分布式的计算机或软件程序协作一致,对系统的输入输出做出正确的响应。
区块链的共识机制的思想是:在没有中心点总体协调的情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。
目前,常用的共识机制主要有PoW、PoS、DPoS、Paxos、PBFT等。根据区块链不同应用场景中各种共识机制的特性,共识机制分析可基于:
合规监管:是否支持超级权限节点对全网节点、数据进行监管。
性能效率:交易达成共识被确认的效率。
资源消耗:共识过程中耗费的CPU、网络输入输出、存储等资源。
容错性:防攻击、防欺诈的能力。
当前,TCP/IP协议是全球互联网的"牵手协议”。将“多中心化、分布式”理念变成了一种可执行的程序,并在此基础上派生出了更多的类似协议。互联网上能多中心化的活动是无需信用背书的活动,需要信用做保证的都是中心化的、有第三方中介机构参与的活动。因此,无法建立全球信用的互联网技术就在发展中遇到了障碍——人们无法在互联网上通过多中心化方式参与价值交换活动。
- 区块链将成为互联网的基础协议之一。区块链作为一种可以传输所有权的协议,将会基于现有的互联网协议架构,构建出新的基础协议层。区块链(协议)会和传输控制协议/因特网互联协议(TCP/IP)一样,成为未来互联网的基础协议,构建出一个高效的、多中心化的价值存储和转移网络。
- 区块链架构的不同分层将承载不同的功能。类似TCP/IP协议栈的分层结构,入们在统一的传输层协议之上,发展出了各种各样的应用层协议,最终构建出了今天丰富多彩的互联网。未来区块链结构也将在一个统一的、多中心化的底层协议基础上,发展出各种各样应用层协议。
- 区块链的应用和发展呈螺旋式上升趋势。区块链作为数字化浪潮中下一个阶段的核心技术,其发展周期将比预想得要长,影响的范围和深度也会远远超出人们的想象,将会构建出多样化生态的价值互联网,从而深刻改变未来商业社会的结构和每个人的生活。
2.2.5人工智能
人工智能是研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的技术科学。
1技术基础
人工智能从产生到现在,其发展历程经历了6个主要阶段:起步发展期(]956年至20世纪60年代初)、反思发展期(20世纪60年代至20世纪70年代初)、应用发展期(20世纪70年代初至20世纪80年代中)、低迷发展期(20世纪80年代中至20世纪90年代中)、稳步发展期(20世纪90年代中至2010年)、蓬勃发展期(2011年至今)。从当前的人工智能技术进行分析可知,其在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。
2关键技术
入工智能的关键技术主要涉及机器学习、自然语言处理、专家系统等技术。
- 机器学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行“学习"的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面,其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究,迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。
神经网络是机器学习的一种形式,该技术出现在20世纪60年代,并用于分类型应用程序。它根据输入、输出、变世权重或将输入与输出关联的“特征”来分析问题。它类似千神经元处理信号的方式。深度学习是通过多等级的特征和变址来预测结果的神经网络模型,得益千当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大,使得该模型的使用难度很大且难以解释。深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。强化学习是机器学习的另外一种方式,指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。
机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。它们往往比基于人类假设和回归分析的传统“手工”分析模型更准确,但也更复杂和难以解释。相比于传统的统计分析,自动化机器学习模型更容易创建,而且能够揭示更多的数据细节。 - 自然语言处理
自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理主要应用于机器翻译、舆悄监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。自然语言处理(即实现人机间自然语言通信,或实现自然语言理解和自然语言生成)是十分困难的,困难的根本原因是自然语言文本和对话的各个层次上广泛存在着各种各样的歧义性或多义性。自然语言处理解决的核心问题是信息抽取、自动文摘/分词、识别转化等,用于解决内容的有效界定、消歧和模糊性、有瑕疵的或不规范的输入、语言行为理解和交互。当前,深度学习技术是自然语言处理的重要技术支撑,在自然语言处理中需应用深度学习模型,如卷积神经网络、循环神经网络等,通过对生成的词向狱进行学习,以宪成自然语言分类、理解的过程。 - 专家系统
专家系统是一个智能计算机程序系统,通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成,其内部含有大位的某个领域专家水平的知识与经验,它能够应用人工智能技术和计算机技术,根据系统中的知识与经验,进行推理和判断,模拟入类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
在人工智能的发展过程中,专家系统的发展已经历了三个阶段,正向第四代过渡和发展。第一代专家系统以高度专业化、求解专门问题的能力强为特点。但在体系结构的完整性、可移植性、系统的透明性和灵活性等方面存在缺陷。第二代专家系统属于单学科专业型、应用型系统,其体系结构较完整,移植性方面也有所改善,而且在系统的人机接口、解释机制、知识获取技术、不确定推理技术、增强专家系统的知识表示和推理方法的启发性、通用性等方面都有所改进。第三代专家系统屈多学科综合型系统,采用多种人工智能语言,综合采用各种知识表示方法和多种推理机制及控制策略,并运用各种知识工程语言、骨架系统及专家系统开发工具和环境来研制大型综合专家系统。当前人工智能的专家系统研究已经进入到第四个阶段,主要研究大型多专家协作系统、多种知识表示、综合知识库、自组织解题机制、多学科协同解题与并行推理、专家系统工具与环境、人工神经网络知识获取及学习机制等。
3应用和发展
经过60多年的发展,人工智能在算法、贺力(计货能力)和算料(数据)等方而取得了重要突砐,正处于从“不能用”到“可以用"的技术拐点,但是距离“很好用”还存在诸多瓶颈。实现从专用人工智能向通用人工智能的跨越式发展,既是下一代人工智能发展的必然趋势。
- 从人工智能向人机涅合智能发展。借鉴脑科学和认知科学的研究成果是人工智能的一个重要研究方向。人机混合智能旨在将人的作用或认知模型引入到人工智能系统中,提升人工智能系统的性能,使人工智能成为人类智能的自然延伸和拓展,通过人机协同更加高效地解决复杂问题。
(2)从“人工+智能“向自主智能系统发展。当前人工智能领域的大监研究集中在深度学习,但是深度学习的局限是需要大量工干预。因此,科研人员开始关注减少人工干预的自主智能方法,提高机器智能对环境的自主学习能力。
(3)人工智能将加速与其他学科领域交叉渗透。人工智能是一门综合性的前沿学科和高度交叉的复合型学科,需要与计算机科学、数学、认知科学、神经科学和社会科学等学科深度融合。借助于生物学、脑科学、生命科学和心理学等学科的突破,将机理变为可计算的模型,人工智能将与更多学科深入地交叉渗透。
(4)人工智能产业将蓬勃发展。“人工智能+X"的创新模式将随着技术和产业的发展日趋成熟,对生产力和产业结构产生革命性影响,并推动人类进入普惠型智能社会。
(5)人工智能的社会学将提上议程。为了确保人工智能的健康可持续发展,使其发展成果造福千民,需要从社会学的角度系统全面地研究人工智能对人类社会的影响,制定完善人工智能法律法规。
2.2.6虚拟现实
如何把人类的感知能力和认知经历及计算机信息处理环境直接联系起来,是虚拟现实产生的业大背景。
1.技术基础
虚拟现实(Virtual Reality, VR)是一种可以创立和体验虚拟世界的计算机系统。通过虚拟现实系统所建立的信息空间,是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。在硬件方面,需要高性能的计算机软硬件和各类先进的传感器;在软件方面,主要是需要提供一个能产生虚拟环境的工具集。
虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性(想象性)和自主性。随着虚拟现实技术的快速发展,按照其“沉浸性”程度的高低和交互程度的不同,虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等,向增强式虚拟现实系统(Augmented Reality, AR)和元宇宙的方向发展。
2关键技术
虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建校技术和系统集成技术等。
- 人机交互技术:与传统的只有键盘和鼠标的交互模式不同,是一种新型的利用VR眼镜、控制手柄等传感器设备,能让用户真实感受到周围事物存在的一种三维交互技术,将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合,是目前主流的人机交互手段。
- 传感器技术:VR技术的进步受制千传感器技术的发展,现有的VR设备存在的缺点与传感器的灵敏程度有很大的关系。
- 动态环境建模技术:虚拟环境的设计是VR技术的重要内容,该技术是利用三维数据建立膨拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计(Computer Aided Design, CAD),操作者可以通过CAD技术获取所需数据,并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过CAD技术获取三维数据,多数悄况下还可以利用视觉建模技术,两者相结合可以更有效地获取数据。
- 系统集成技术:包括信息同步、数据转换、模型标定、识别和合成等技术,由于VR系统中储存着许多的语音输入信息、感知信息以及数据模型,因此VR系统中的集成技术显得越发重要。
3应用和发展
- 硬件性能优化迭代加快。轻量化、超清化加速了虚拟现实终端市场的迅速扩大,虚拟现实设备的显示分辨率、帧率、自由度、延时、交互性能、重址、眩晕感等性能指标日趋优化。
- 网络技术的发展有效助力其应用化的程度。泛在网络通信和高速的网络速度,有效提升了虚拟现实技术在应用端的体验。借助于终端轻型化和移动化5G技术,高峰值速率、毫秒级的传输时延和干亿级的连接能力,降低了对虚拟现实终端侧的要求。
- 虚拟现实产业要素加速融通。虚拟现实产业呈现出从创新应用到常态应用的产业趋势,在舞台艺术、体育智慧观赛、新文化弘扬、教育、医疗等领域普遍应用。“虚拟现实+商贸会展”成为后疫情时代的未来新常态,“虚拟现实+工业生产”是组织数字化转型的新动能,“虚拟现实+智慧生活”大大提升了未来智能化的生活体验,“虚拟现实+文娱休闲”成为新型信息消费模式的新载体等。
- 元宇宙等新兴概念为虚拟现实技术带来了“沉浸和叠加”“激进和渐进”“开放和封闭”等新的商业理念,大大提升了其应用价值和社会价值,将逐渐改变人们所习惯的现实世界物理规则,以全新方式激发产业技术创新,以新模式、新业态等方式带动相关产业跃迁升级。
2.3本章练习
1.选择题
- 关于信息技术的描述,不正确的是。
A.信息技术是研究如何获取信息、处理信息、传输信息和使用信息的技术
B信息技术是信息系统的前提和基础,信息系统是信息技术的应用和体现
C.信息、信息化以及信息系统都是信息技术发展不可或缺的部分
D.信息技术是在信息科学的基本原理和方法下的关于一切信息的产生、信息的传输、
信息的转化应用技术的总称
参考答案:D - -关键技术主要涉及传感器技术、传感网和应用系统架构等。
A物联网B.云计算C.大数据D.人工智能
参考答案:A - 关键技术主要涉及机器学习、自然语言处理、专家系统等技术。
A物联网B.云计算C.大数据D人工智能
参考答案:D - 关于云计算的描述,不正确的是。
A云计算可以通过宽带网络连接,用户需要通过宽带网络接入“云”中并获得有关的服务,“云”内节点之间也通过内部的高速网络相连
B云计算可以快速、按需、弹性服务,用户可以按照实际需求迅速获取或释放资源,并可以根据衙求对资源进行动态扩展
C按照云计算服务提供的资源层次,可以分为基础设施即服务和平台即服务两种服务类型
D.云计算是一种基于并高度依赖Internet,用户与实际服务提供的计算资源相分离,集合了大独计算设备和资源,并向用户屏蔽底层差异的分布式处理架构
参考答案:C - 区块链有以下几种特性:
多中心化、多方维护、时序数据、智能合约、开放共识、安全可信和。
A.可回溯性 B不可篡改C周期性D稳定性
参考答案:B
标签:存储,应用,项目管理,摘编,技术,信息,第四版,区块,数据 From: https://blog.51cto.com/u_14540126/6150690