模式识别学科发展报告
头版
模式识别国家重点实验室编写
中国科学院学科发展战略研究项目成果
该报告摘录了
最近50项重要研究进展
未来30个重要研究问题
分模式识别基础、计算机视觉、语音和语言信息处理、模式识别应用技术四个方向介绍。
今天，图图推荐模式识别发展报告的第一个方向，模式识别基础的重要研究进展和未来的重要研究问题。
画
重要研究进展(13项)
一个
贝叶斯决策和估计:统计决策的基本理论。
2
概率密度估计:一种重要的无监督学习方法，是统计模式识别的重要基础和模式分析的重要工具。
三
模式识别系统实现中最重要的任务。模型设计和学习方法有很多。这里主要介绍监督学习。
四
聚类:一种重要的无监督学习方法和模式分析的重要工具。
五
特征提取和学习:模式的特征表示对模式分类的性能有决定性的影响。如何从数据中提取特征、选择特征或学习特征表示是一个重要的研究方向。
六
人工神经网络与深度学习:人工神经网络是一种重要的模式分析和识别方法，深度神经网络的发展形成了目前最成功的一系列深度学习方法和研究方向。
七
核方法和支持向量机:基于支持向量机的核方法在20世纪90年代成为模式识别的一个主流方向，至今仍在模式识别研究和应用中发挥着重要作用。
八
句法模式识别:基于句法或结构分析的模式识别一直是与统计模式识别并列的一个重要分支。
九
概率图模型:概率图模型是模式结构分析或结构预测的重要方法。因为其独特性，所以单独介绍。
10
整合:整合学习通过整合多个学习者来提高绩效。自20世纪80年代以来，已有大量的研究和应用，形成了系统的理论和一系列方法。
11
半监督学习:半监督学习是20世纪90年代以来发展起来的一种分类器学习方法，既可以使用已标记样本，也可以使用未标记样本。还有很多研究。
12
迁移学习(Transfer learning):迁移学习利用来自不同领域或不同分布特征的样本数据来优化分类器模型，已被广泛重视并发展出一系列模型和方法。
13
多任务学习:多任务学习利用多个分类或建模任务的相关性(包括聚类、回归、数据重构等。)并同时学习多个任务，可以提高每个任务的泛化性能，得到了广泛的重视和应用。
画
画
画
延伸阅读
模式识别学科发展报告(一)
画
画
基础理论和方法的研究动态
画
一个
面向开放环境感知的模式识别理论与方法。开放环境下，格局态势复杂多变。从同一模式关联的数据来看，既有海量的多模态数据，也有小规模的样本数据。各种模式的统计特征或结构特征动态变化，数据类型多样混杂，模式信息不充分且不确定。目前有多源/多模态协同模式分析理论与方法、鲁棒模式识别理论与方法、连续自主学习理论与方法、开放环境感知模式识别方法等多种研究趋势。
2
非结构化数据模式分析的理论和方法。大多数模式数据(如视觉感知数据)是非结构化数据。建立从非结构化数据输入到结构化输出(如类别、关系等)的模式分析系统，是很多不同应用行业的共同需求。).目前，基于特征自学习的模式分类理论和方法以及基于深度学习的无监督特征学习理论和方法是研究的热点问题。以端到端为核心思想，构建面向复杂场景、健壮、无约束环境的非结构化数据模式分析理论和方法是一大发展趋势。
三
类人脑模型表示和学习的理论与方法。具有很强的学习和理解人脑非结构化感知数据的能力，具有多模态信息处理、自主学习和实时更新的特点。目前，充分引入人类感知机制，以脑结构、神经形态学和类脑研究的最新成果为指导，研究高效的跨模态非结构化协同学习方法、小样本主动强化自学习、自监控、自进化方法、自主特征学习方法、自动目标感知和识别方法、类脑神经网络结构学习方法，已成为模式识别领域的重要课题。通过构建一种新的模式表示、学习和识别理论与方法，以及能够模拟人脑结构、认知机制和类人学习的强化学习策略，有望进一步解决非结构化感知数据的高效处理和理解问题。
四
新计算框架下的模式识别。目前，并行计算、量子计算、DNA计算已经取得突破。并行计算广泛应用于模式识别算法的改进。在DNA计算的框架下，通过生化处理技术完成复杂模式分析和学习的任务。在新的计算框架下发展新的模式识别理论是新的趋势。
未来重要研究进展(10项)
一个
模式识别的认知机制和计算模型:如何模拟人类的认知机制，从可表示性和可嵌入性的角度建立计算模型，以提高模式识别的性能。
2
理想贝叶斯分类器逼近:突破有限样本、模式统计、结构特征动态变化等条件下的模式识别决策新理论。，构建了开放环境下模式识别任务的新技术范式。
三
基于信息不足的模式识别:面对“标记信息不足”、“数据关系不清”、“目标信息不足”等典型应用情况，如何提高模式描述和分类的能力。
四
开放环境下的自主进化学习:如何解决开放环境下现有模式识别方法和系统面临的鲁棒性低、适应能力差、多模态数据应用不足、模态维数不平衡等问题。
五
知识嵌入的模式识别:如何在传统的模式识别方法和新的理论和方法中表达、嵌入和应用知识。
六
交互学习的理论模型和方法:如何建立“交互学习、人机合作、人在回路”与模式识别理论和方法的整合范式，提高模式识别系统的泛化能力。
七
解释深度模型:如何从理论上解释深度模型的有用性，为构建新模型提供理论指导。
八
新计算架构下的模式识别:如何突破现有的冯诺依曼计算机架构下的模式识别算法体系，构建量子计算、DNA计算等新计算架构下的模式识别理论和方法体系。
九
模式解释和结构模型学习:如何建立高效的元学习方法和新的结构模式描述和结构学习方法，提高模型的泛化能力、环境和任务适应性。
10
增强的模式识别理论和方法。如何提高模式识别方法的对抗性和抗入侵性，提高模式识别系统的安全性能。
画
画
画
延伸阅读
模式识别学科发展报告(二)
70年学术背景的模式识别
自20世纪50年代以来，模式识别已经发展成为一门学科或研究领域。O.G. Selfridge在1957年的一次会议上从计算机科学的角度给出了一个定义:模式识别是从不相关细节的背景中提取有意义的特征(模式识别是从不相关细节的背景中提取有意义的特征的过程)。孙静)在1982年出版的《模式识别的应用》一书的第一章中指出，模式识别问题通常是对一组过程或事件的分类和/或描述。要分类的过程或事件的集合可以是一组物理对象或一组更多的抽象概念，如精神状态。具有某些相似属性的过程或事件被分组为一类。(模式识别是指过程或事件的分类和/或描述。或者过程可以是物理对象或抽象事件，如精神状态。具有相似特征的过程或事件的类别)。这个定义对模式识别的技术(分类和描述)、模式和类别都非常清楚。
综合模式识别在认知、功能、计算原理等方面的特点，可以给出更全面的定义。模式识别研究如何让机器(包括计算机)模拟人的感知功能，检测、识别和理解目标、行为、事件等的模式。来自环境感知数据。同时，模式被定义为数据中具有一定特征的目标、行为或事件，具有相似特征的模式形成一个类别。单个模式也称为样本或实例。
20世纪50年代是计算机模式识别正式出现的时期。由C.K. Chow于1957年发表的用于字符识别的统计决策方法是一种典型的统计模式识别方法。本文档给出了贝叶斯决策的基本框架(包括最小风险决策、最大后验概率决策和带拒绝的最小风险决策)。一些早期代表作品或重要事件包括:感知器)；罗森布拉特在1957年开发的；1965年，N.L. Nilsson出版了一本关于学习机的书(主要内容是模式分类)；1966年第一届模式识别研讨会；1968年发表的模式识别研究综述；1968年，国际期刊《模式识别》创刊；福永和杜达&哈特分别于1972年和1973年出版了模式识别的经典教材。20世纪70年代是模式识别研究快速发展的时期。傅提出了句法模式识别方法，形成了理论方法体系。
国际模式识别组织于20世纪70年代正式成立。根据国际模式识别协会(IAPR)的历史，第一届模式识别国际联席会议(IJCPR，1980年后更名为ICPR)于1973年召开，第二届于1974年召开，此后每两年召开一次。IAPR于1974年开始筹建IJCPR，1976年在IJCPR召开第一次执委会会议，1977年接受会员申请，1978年在IJCPR召开第一次理事会会议，宣布IAPR正式成立。
20世纪80年代，模式识别方法发展的最大亮点是多层神经网络的引入。1986年，Rumelhart等人发表了反向传播(Back-propagation，BP)算法(实际上，Paul Werbos在1974年的博士论文中描述了BP算法，并没有引起太多的注意)。BP算法使多层神经网络作为模式分类器具有自学习能力，其隐含神经元具有特征提取功能，因此迅速成为主流的模式识别方法。卷积神经网络于1990年首次提出。支持向量机(SVM)出现于1995年。由于它克服了多层神经网络训练的局部极值问题，具有更好的泛化性能，逐渐成为一种新的主流方法。
从20世纪90年代到21世纪初，模式识别和机器学习领域出现了多种新方法(模式分类器设计是一个学习问题，所以大部分机器学习研究都是面向模式识别的)，其中比较典型的是多分类器系统(早期的工作出现在1990年，后来发展为集成学习)。在模式识别中起重要作用的半监督学习、多标签学习、多任务学习、迁移学习和领域自适应(类似于领域自适应，分类器自适应早在20世纪60年代就有尝试)以及以马尔可夫随机场和条件随机场为代表的概率图模型等。都是在这个时期出现的。
2006年以后，深度学习(深度神经网络方法)逐渐成为主流，在大多数模式识别应用任务中，已经大大超越了传统模式识别方法(基于人工特征提取的分类方法)的性能。深度学习的方法最早发表于2006年。后来又提出了一系列深度神经网络模型和训练算法来提高训练的收敛和泛化性能，包括不同的训练方法或正则化方法、不同的卷积神经网络结构、循环神经网络、自注意网络、图卷积网络等。2012年，深度卷积神经网络在大型图像分类竞赛Imagenet中大获成功。从此将深度学习的研究和应用推向了高潮。深度学习的优越性能从视觉领域延伸到自然语言处理领域，开始在机器翻译、阅读理解、自动问答等语言理解任务中大大超越基于统计语言模型的方法。
目前，在模式识别和人工智能领域，深度学习方法仍然占据主导地位。然而，随着研究的深入和应用的扩大，深度学习方法的缺点也越来越突出，如小样本泛化能力不足、可解释性不足、鲁棒性(稳定性)差、语义理解和结构理解能力弱、持续学习中遗忘严重等等。针对这些缺陷，学术界正在不断探索新的模型(包括知识规则与传统模式识别方法的结合)和学习算法等。，研究和应用仍在发展中。比如开放环境下的鲁棒模式识别、可解释神经网络、小样本学习和可解释的模块化神经网络、感知和符号推理相结合的模型、自监督学习、持续学习(也称终身学习)等。
模式识别和人工智能的不同分支(机器学习、计算机视觉、自然语言处理、数据挖掘等。)高度交叉。模式识别中的分类和聚类也是机器学习的主要研究内容。在机器学习领域，尼尔森(1965)和杜达&哈特(1973)的早期作品被认为是机器学习的代表作品。这两本书其实主要是讲模式识别的。毕晓普在2006年出版的《模式识别与机器学习》一书的序言中说:模式识别在工程中有其起源，为什么机器学习灰出计算机科学。然而，他们的活动可以被视为同一领域的两个方面。(模式识别来源于工程学，机器科学诞生于计算机科学。两者都可以看作是同一个领域的两个方面)。傅在1971年出版了一本编辑过的书，也叫《模式识别与机器学习》。机器学习作为一个研究领域，出现的相对较晚。在20世纪80年代，出现了关于机器学习的专著和会议(第一届ICML于1980年举行)。
计算机视觉的主要研究内容是对图像和视频的分析、识别和理解，与模式识别也是高度交叉的。特别是目标和行为识别是一个典型的模式识别问题，因此模式识别的理论和方法(如分类和学习方法)在计算机视觉中得到了广泛的应用。1973年的《模式分类与场景分析》中的场景分析是计算机视觉的一部典型作品。自20世纪70年代以来，在ij CPR(1980年更名为ICPR)出现了大量关于图像处理和分析的论文。总的来说，1982年大卫·马尔出版的专著《视觉》标志着计算机视觉领域的正式形成。计算机视觉领域的典型活动:计算机视觉和模式识别会议(CVPR)始于1983年，国际计算机视觉会议(ICCV)始于1987年。在这些会议中，传统模式识别领域的通用图像分析与识别(包括形状分析、目标识别、文档图像分析和字符识别)甚至通用分类器学习也开始大量出现。
模式识别与机器学习、计算机视觉、语言处理、数据挖掘等领域的高度重叠和交叉，说明学科领域在不断分化，与历史融合。目前，这些相关领域相互借鉴、相互促进，未来将会结合得更加紧密。
画
报告内容组织
2018-2019年，模式识别国家重点实验室承担了中科院科研项目“模式识别发展战略研究”。鉴于60年来模式识别理论、方法和应用取得的巨大进步，以及在通信、传感和计算软硬件技术不断发展、应用场景日益复杂和开放的新形势下，本项目希望全面梳理模式识别的发展历史，梳理迄今为止在学术或应用方面产生重大影响的主要研究进展，面向未来。提取具有重要理论价值或应用需求的值得研究的问题，为模式识别学术界提供参考，从而为今后的基础研究和应用研究提供指导，产生具有重大理论价值或应用价值的研究成果。
实验室邀请国内该领域研究人员进行了多轮讨论交流，实验室数十名研究人员撰写并整理了模式识别领域过去50个重要研究进展和未来30个重要研究问题，分模式识别基础、计算机视觉、语音语言信息处理和模式识别应用技术四个方向进行了介绍。模式识别的基本理论和方法是研究的核心。主要研究内容包括分类决策的基础理论、各种分类器的设计和学习方法、特征学习、聚类分析等。计算机是机器感知最重要的部分(人和机器从环境中获取信息的最大通道是视觉感知)，视觉感知数据是模式识别处理最重要的对象。主要研究内容包括图像处理与分割、图像增强与恢复、三维视觉、场景分析、目标检测与识别、行为识别等。信息(包括语音和文本信息)是一种重要的模式信息，语言信息处理是模式识别和机器感知的重要形式。自然语言处理(文本理解)已经形成了自己的理论和方法体系，现在它越来越多地与听觉和视觉感知交织在一起，更接近于模式识别和机器学习的方法。模式识别技术在社会生活中应用广泛。本报告不介绍仅应用模式识别技术的场景或技术，而是有选择地介绍与模式识别理论和方法研究紧密结合的应用问题(如针对/结合应用场景研究模式识别方法和技术)，如生物特征识别、遥感图像分析、医学图像分析、文档图像分析和字符识别、多媒体计算等。
标签：学科,研究,模式识别,理论,学习,70,视觉,方法 From： https://www.cnblogs.com/liuchaobaidu/p/16985056.html