基于matlab的人眼开度识别

1.2 人眼疲劳识别研究现状

目前眼睛的识别方法基本上分为两类:一是基于被动图像处理的传统方法,此方法主要包括基于模板的方法、基于外观的方法和基于特征的方法。二是基于主动红外的方法。传统的被动图像处理方法主要是通过探测眼部与脸部其他部位的外观或形状差异来实现的,受外界光照条件的影响很大,而且在夜间不可以识别,所以目前主要的研究方法是基于主动红外的方法。

1.2.1 国外研究现状

    目前国外的许多国家都对汽车安全方面投入了大量的资金，用来解决交通安全的问题。许多高校和科研机构也都在该方面进行了大量的研究，并得了丰硕成果。进入 21 世纪后，计算机视觉和集成电路技术的发展给驾驶疲劳检测的研究拓宽了空间，之进入了黄金时期。下面介绍几种国外的典型试验产品。

脑电图（EEG）信号检测：澳大利亚 University  of  Sydney 健康研究中心在采集了不同驾驶员的脑电图信号之后，利用人工神经网络对其进行处理，主要是提取不同波段不同脑电图的典型特征并对其进行分类，并由此来判断驾驶员是否疲劳。另外，为了准确、快速的得到脑电图信号，Tran 等人利用集中趋势测量法所定义的二阶差分结构和采样熵对采集的脑电图信号进行非线性分析和处理，从而判断驾驶员是否处于疲劳状态。新西兰研究人员发明的监控报警器用于监控驾驶员在驾驶过程中脑电波以及眼睛的活动情况，可以测定驾驶员是否处于疲劳状态以及驾驶员的脑意识是否出现停顿，必要时会自动向驾驶员发出警报。日本 canon  KK 提供的作为脑电波连接刺激发生器的防瞌睡装置安置于被检者头部，当由脑电波检测确定被检者处于瞌睡状态时，即发出语音报警。

心电图（ECG）信号检测：Calcagnini 等人发现心电图信号的几个典型特征在驾驶员疲劳和清醒时有着明显的不同，比如高频能量、低频能量、超低频能量及低频能量/高频能量的比率等等，利用心电图可以判断驾驶员是否疲劳。另外，韩国 Jeong等人同样在采集驾驶员的心电图信号之后，分析驾驶员的心率变化情况进而来判断驾驶员是否疲劳。日本先锋公司（Pioneer）于 1994 年研究并开发出了一款防止驾驶员开车时打瞌睡的系统。该系统设计如下，当驾驶员转动方向盘的时候会握住一个纸状心跳感应器，该感应器通过检测心跳速度的变化来确定驾驶员是否疲劳或者瞌睡，一旦认定驾驶员有睡意，则提前 15min 以改变音乐节奏等方式提醒驾驶员注意。丰田汽车公司(Toyota Motor Corporation)也发明了一款防瞌睡装置，该装置通过心搏传感器来判断驾驶员是有瞌睡，一旦确认驾驶员有睡意，则采用震动驾驶员座椅的方式来唤醒驾驶员，该装置成本低，结构也比较简单，并且容易实现。但是因为每个驾驶员在处于不同状况时，心率变化也不一样，很难形成统一的规律来判定，因此，基于心电信号来监测疲劳的方法更多的是个辅助方法。

PERCLOS参数检测：Wierwille 等人于 1994 年针对驾驶员的眼睛闭合程度在驾驶模拟器上进行了一系列实验，实验结果表明，在单位时间内（一般为 1min 或者 30s）眼睛的闭合时间可以在一定程度上反映驾驶员的疲劳状态。在这基础上，卡内基梅隆大学（Carnegie  Mellon  University）经过反复实验，提出了“PERCLOS”作为检测驾驶员是否疲劳的指标参数，即单位时间内（一般为 1min 或者 30s）眼睛闭合 80%左右的时间所占比例，并设计了疲劳检测装置。

1.2.2 国内研究现状

我国的驾驶疲劳研究起步较晚，到目前为止，还没有很成熟的产品问世。这方面的研究主要以高校居多，目前的检测方法主要有：上海交通大学的杨渝书、姚振强、焦昆等人模拟驾驶员疲劳条件下，通过采集驾驶员的疲劳时心电图，肌电图来进行的数据分析，评估驾驶员的疲劳状况；中南大学对驾驶员驾驶时的疲劳检测方法进行了研究，设计出了一套眼睛跟踪系统，可达到实时的跟踪效果，同时研究了疲劳时眼睛的闭眼时间、快眨眼次数、慢眨眼时间和次数的特征模式。国防科技大学的吴沫等将驾驶员-汽车-道路作为一个闭环系统，利用计算机视觉的方法研究出一个车辆跑偏预警系统，分析了驾驶员的行为与车辆运动之间的关系；另外吉林大学的施树明对驾驶员的嘴巴进行了深入研究，通过 Fisher分类器提取其特征作为神经网络的输入，分析驾驶员的正常行为、说话、疲劳等特征。上海交通大学的石坚等人也采用神经网络的方法，与其之前所不同的是，他们采集的驾驶员驾驶时方向盘、踏板作为输入特征。总体看来，驾驶员疲劳检测是个复杂的过程，我国的驾驶疲劳检测的方同发达国家相比，还存在较大的差距。研究表明，眼睛状态和疲劳有很大的关联性，现阶段随着数码相机和网络摄像头的价格越来越便宜，通过监测驾驶员的眼睛状态来判断驾驶员是否疲劳的技术正逐步成为热点。

1.3 课题内容

本文从图像处理的角度出发，研究了图像中的面部识别，人眼定位，人眼开度状态识别，基于已测人眼状态进行疲劳检测以上几个方面进行研究。

图像中的面部识别。首先通过摄像头获取一幅带人脸的图像，对图像进行处理，利用中值滤波的方法对获取的图像去噪，在对滤波后的图像灰度化，利用图像网络处理识别出人脸区域，图像网络处理识别人脸是一种常见的人脸识别方法是对人脸图像中的一些像素值进行分析得出图像中人脸区域。

人眼的定位。面部识别的部分已经检测出了人脸，在检测的人脸上划分眼睛的大致区域，对该区域进行积分投影之后可以精确地定位眼睛的位置。然后利用边缘检测算法和Hough变换找到眼睛的位置。

人眼开度状态识别。判断一个人是否处于疲劳状态，计算检测到的人眼的在横向和纵向上的实际所占像素值，计算眼睛的纵横比，这个比值对同一个人的睁眼或闭眼状态来说是相对固定的。但不同的人在这个值上都有一个共同点即眼睛闭合时值偏小( 小于0. 3) , 由此做出的判断适用于大多数的人。

疲劳的判断。由于摄像头获取的图像是一帧一帧获取的，对获取的图像的所有帧进行相同的处理之后，判断眼睛的开闭状态在所有的图像之中所占的百分比，与在眼睛疲劳情况下眼睛开闭状态的百分比进行比较判断是否处于疲劳状态。

由于肤色分割方法的一些缺陷，这次题目采用的是基于图像网络分析来进行人脸识别一定程度能解决以上存在的一些问题，在识别了面部的大致区域之后为下面的人眼识别做出铺垫。

对于基本的目标图像而言，由于背景的辅助程度的不同，用肤色识别的方法很有可能在识别的过程中把一些背景当做面部来进行识别了。在对图像进行分析的过程中，将目标图像进行网络分割，对分割之后的图像的小方块首先进行去噪灰度化的常规预处理之后，对预处理之后的分割的小块图像分别进行人脸识别，判断该小块图像是否是位于人脸部位。将识别的小方块整合就是整个的人脸识别的区域。而且如果存在误差的情况下对眼睛的图像判断率相对较高。步骤如下：

第一步：利用前面一章已经介绍的中值滤波算法对图像进行基本的预处理，使得图像的基本属性满足课题的具体要求。然后利用二值化对所得图像进行处理，在二值化的图像中进行进一步的操作。

第二步：对图像进行小块分割，这次题目我对目标图像进行的是10x10的分割。讲图像分割成100个小方块，对于不同的图像，可以进行不同的小方块分割以适应题目的需要。然后对每个小方块的像素进行检测，对黑色像素的比例进行统计，对满足面部识别的小方块进行标记，然后进行列变换和行变换，对后来的小方块进行相同的检测，最后把满足需求的小方块进行整合，即为人脸的识别区域。

本章的人脸检测算法是一种比较基础的算法，利用对原始图像进行网络处理，把原始图像分成10x10的小方块，对每个小方块进行中值滤波，然后对滤波后的图像进行二值处理得到二值图，对每个二值图的小方块进行黑色像素检测，如果黑色像素比例满足信息，那么判断该方块属于人脸区域，依次一个一个的检测所有的小方块，把检测出的人脸识别出来。实验表明，该方法能较为有效地识别出人脸区域。

 眼睛的定位和疲劳的判别

作为人脸部特征鲜明, 位置独特的区域, 眼睛的检测对于人脸信息的处理具有重要的意义, 不仅可以提高识别和检测的速度, 而且能够降低识别算法的复杂度。在脸部器官定位方面, 只要人眼被精确定位, 则眉毛、鼻子、嘴巴等其它特征就可以通过潜在的分布关系比较准确地进行定位。眼睛的定位还可以使人脸较好的归一化, 预处理的效果也更加明显。另外, 眼睛在感情以及辅助语言交流里发挥着巨大的作用。

基于模板匹配的方法：

灰度投影法：灰度投影法是指对人脸灰度图象进行水平和垂直方向的投影, 分别统计出两个方向上的灰度值和, 找出特定的变化点, 而后根据先验知识将不同方向上的变化点位置相结合, 即得到人眼的位置。也有人利用水平和竖直两个方向上的梯度信息来代替原始灰度值, 以减小光照条件的影响。当前基于灰度投影算法来定位眼睛的方法已经得到了较为广泛应用, 且算法得到了很大改进和完善。最为常用的投影函数是积分投影函数,可以通过对积分投影函数值的分析提取图象中的特征。早期的研究中直接采用水平和垂直方向投影来定位眼睛，研究表明单纯依据灰度投影来定位眼睛虽然定位速度快, 但波峰波谷的分布对于不同人脸和姿态变化非常敏感，另外，投影图中干扰噪声太大, 曲线不规则, 很难在此基础上直接找到特征点 , 因此只能大致的找到眼睛区域, 不能实现精确定位, 很难满足研究需要。因此把灰度投影与其他算法结合起来进行眼睛检测成为新的研究选择。

几何特征模板法：眼睛在人脸中具有较为明显的个体特征以及分布特征。对于大多数人来说,眼睛的位置以及两眼之间的距离相对于人脸而言是一个相关常数。另外,双眼的对称性,眼睛和其它脸部特征的相对位置,以及眼球的形状等都可以作为依据用来实施人眼检测。早期的研究中提出了一种二维可变形模板法,用两条抛物线和一个球形表示眼睛。该模板的初始位置对定位结果有很大影响, 而且能量函数优化过程收敛缓慢, 耗时长, 能量函数中各种权值通过经验设定, 难以保证最优。后来又提出了改进的眼睛可变形模板。提出了一种新的边缘检测算法找到眼睛的四个边缘点左右眼角及瞳孔与上下眼眶的交点, 依次为依据确定模板的初始参数。实验表明，这种模型在准确率上有了较大提高, 但仍然难以克服算法复杂, 检测速度慢, 另外仅对正面或近似正面人脸图象中的眼睛和嘴巴等外形比较规则的器官特征提取效果较好。在此基础上,又提出了一种基于三维可变形模板的眼睛特征提取算法, 利用人脸姿态估计策略来估测人脸的垂直旋转方向, 然后利用三维可变形模板匹配技术来提取眼睛的精确特征。