人脸识别论文

基于OpenCV的人脸检测

摘要

人脸检测是指使用计算机在动态的场景或复杂的背景中检测出人脸的存在，并确

定所有人脸的位置与大小的过程。人脸检测技术不仅是人脸识别、表情识别、人脸跟

踪等技术的重要前提条件，同时在模式识别、人机交互、智能监控、视频检索等领域

也引起了广泛的重视。

本论文简单介绍了国内外人脸识别技术研究及应用的发展现状及其难点分析。在

第二章中介绍了包括基于知识的方法、特征不变量方法、模板匹配方法、基于外观的

方法四类检测方法；在第三章简单介绍了四种经典的检测方法，包括特征脸、神经网

络、隐马尔可夫模型方法、支持向量机。

在第四章重点分析了AdaBoost算法中集成机器学习的一个重要机制：多个弱分

类器集成的方法，机器学习中的弱学习到强学习，集成的关键是投票，最简单的方法

是“绝对多数”的方法。在第五章详细分析了AdaBoost算法检测速度快、可以检测

任意尺度的图像的特点。

在这个理论基础上，本文中人脸算法的研究基于OpenCV开源代码，在OpenCV开

源代码中设计了一些基础的数据类型和一些帮助数据类型。由于OpenCV的源代码完

全开放，本文的研究中利用这套代码在PC上以VisualC++集成开发环境做平台搭建了

一个基于OpenCV的人脸检测系统，进行了人脸检测仿真，并对其结果进行分析。

关键词：人脸检测；AdaBoost；分类器；OpenCV

2

FaceDetectionBadonOpenCV

Abstract

Humanfacedetectionmeansthatforagivenimageorvideo，todeterminewhetherit

containsfaceregions，ifso，determinesthenumber,theexactlocationandthesizeofallthe

faces．Humanfacedetectionisnotonlyanecessarypreconditionoffacerecognition，

expressionrecognitiontechnology,facetracking，butalso，itplaysailimportantrolein

applicationslikeintheintelligenthuman-computerinteraction，videoconferencing，

intelligentsurveillance，videoretrievalandsoon．Therefore，facedetectiontechnology

attractedwidespreadattentioninpatternrecognition，computervision，human-computer

interactionandotherfields．

Thispaperdescribesthenationalandinternationalrecognitiontechnologyapplications

econdchapterto

includeKnowledge-badMethods,FeatureInvariantApproaches,TemplateMatching

Methods,hirdchapterdescribesthefourclassical

detectionmethods,includingEigenface,ArtificialNeuralNetwork,HiddenMarkovModel,

SupportVectorMachines.

Inchapter4ontheanalysisoftheAdaBoostalgorithmsintegrationofmachineryto

studyofanimportantmechanism:moreintegratedapproachintheclassificationofthe

studyofstudyatthelearningandintegrationisthekeytothevote,thesimplestmethodis

terfivedetailedanalysisAdaBoostalgorithmtestspeed,you

candetectanyscaletheimagequality.

Thispaper’srearchisbadontheOpenCVsourcecode，inwhichsomebasicdata

typeandhelpingdatatypewerecreated，andbecauoftheopermessofthecode，webuild

ahumanfacedetectionsystemintheVisualC++environment.

Keywords:facedetection;AdaBoost;classifier;openCV

3

目录

摘要...........................................................................................................................................................1

Abstract..........................................................................................................................................................2

第1章人脸检测........................................................................................................................................5

1.1背景..............................................................................................................................................5

1.2目前的研究状况..........................................................................................................................6

1.3概念..............................................................................................................................................6

1.4人脸检测及其合成技术的应用领域..........................................................................................6

1.5人脸检测评价标准......................................................................................................................7

第2章检测方法........................................................................................................................................9

2.1基于知识的方法..........................................................................................................................9

2.2特征不变量方法..........................................................................................................................9

2.3模板匹配方法............................................................................................................................10

2.4基于外观的方法........................................................................................................................11

第3章经典方法概述..............................................................................................................................13

3.1特征脸........................................................................................................................................13

3.2神经网络....................................................................................................................................13

3.3隐马尔可夫模型方法................................................................................................................14

3.4支持向量机................................................................................................................................14

第4章Adaboost算法.............................................................................................................................16

4.1概述............................................................................................................................................16

4.1.1Adaboost算法简介.......................................................................................................16

4.1.2Adaboost人脸检测算法...............................................................................................17

4.2弱学习与强学习........................................................................................................................18

4.3PAC基本模型..........................................................................................................................19

4.3.1概述................................................................................................................................19

4.3.2基本概念........................................................................................................................19

4.3.3PAC模型的不足...........................................................................................................20

4.4Boosting方法...........................................................................................................................21

4.5Adaboost算法性能分析...........................................................................................................21

第5章矩形特征与积分图......................................................................................................................22

5.1引言............................................................................................................................................22

5.2矩形特征....................................................................................................................................22

5.2.1概述................................................................................................................................22

5.2.2特征模板........................................................................................................................23

5.3积分图........................................................................................................................................24

5.3.1积分图的概念................................................................................................................24

5.3.2使用积分图计算............................................................................................................25

5.4Haar特征值计算.......................................................................................................................27

第6章人脸检测的实现..........................................................................................................................31

6.1OpenCV概述...............................................................................................................................31

6.1.1OpenCV简介.................................................................................................................31

4

6.1.2应用领域........................................................................................................................31

6.1.3OpenCV的起源.............................................................................................................32

6.1.4OpenCV的基本结构.....................................................................................................32

6.1.5OpenCV的特征.............................................................................................................33

6.2OpenCV在检测中的应用...........................................................................................................34

6.2.1编译OpenCV.................................................................................................................34

6.2.1为VC++2008Express配置OpenCV环境.................................................................36

6.3实验结果....................................................................................................................................37

6.4结论：........................................................................................................................................39

参考文献......................................................................................................................................................40

致谢.........................................................................................................................................................42

附录一人脸检测源程序..........................................................................................................................43

附录二外文翻译........................................................................................................................................48

5

第1章人脸检测

1.1背景

人脸检测问题最初来源于人脸识别，任何一个自动的人脸识别系统首先必须对人脸

进行准确的定位，因此实时而有效的人脸检测显得尤为重要。跟其他生物特征识别方法

相比，人脸识别具有更加直接、方便、友好的特点，因其非侵犯性更容易被用户所接受。

而且，通过对人脸的表情、姿势等作分析，还能获得其他识别系统难以获得的信息，因

此人脸识别成为最有潜力的生物身份验证手段。早期的人脸识别研究主要针对具有较强

约束条件的人脸图像(如无背景的图像)，因此假设人脸容易获得或在手工交互下运用，

而人脸检测问题并未得到重视。

近年来，随着信号处理理论和计算机的出现及其发展，人们开始用摄像机获取环境

图像并将其转换成数字信号，用计算机实现对视觉信息的处理，这就形成了计算机视觉。

计算机视觉是当前计算机科学中的一个非常活跃的领域，其基本假设是：可以用计算的

方式来模拟人类的视觉机制。

人脸的自动识别是一种重要的生物特征识别技术，与其它身份识别方法相比，人脸

识别具有直接、方便、友好等特点，因而人脸自动识别问题的研究不仅具有重要的应用

价值，而且具有重要的理论意义。现在，随着科学技术和电子商务的发展，人脸检测的

应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、计

算机视觉、人机交互等方面都有着重要的应用价值。

人脸识别通过计算机提取人脸的特征，并根据这些特征进行身份验证。人脸与人

体的其他生物特征(指纹、虹膜等)一样与生俱来不可改变，它们所具有的唯一性和不

易被复制的良好特性为身份鉴别提供了必要的前提，同其他生物特征识别技术相比，

人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。人脸识别一般包括三个

步骤：人脸检测、人脸特征提取和人脸的识别与验证。其处理流程如图1-1所示。

图1-1人脸识别的一般步骤

输入

图像

人脸

图像

人脸

特征

输出

结果

人脸

检测

特征

提取

身份识别

验证

6

1.2目前的研究状况

人脸检测是一个复杂的极具挑战性的模式检测，其主要的难点有两方面：一方面

是由于人脸内在的变化所引起：

(1)人脸具有很复杂的细节变化，不同的外貌特征如脸形、肤色等，不同的表情

如眼、嘴的开与闭等；

(2)其他物体对人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；

另外一方面由于外在条件变化所引起：

(3)成像角度的不同也能造成人脸的多姿态，如平面内旋转、深度旋转以及上下

旋转，其中深度旋转影响较大；

(4)光照的影响，如图像中的亮度、对比度的变化和阴影等；

(5)图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。

这些困难都为解决人脸问题造成了难度。如果能找到一些相关的算法并使其能在

应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测系统提供保证。

目前，国外对人脸检测问题的研究有很多，比较著名的有MIT,CMU等；国内的

清华大学、北京工业大学、中科院计算所和自动化所等都有人员从事人脸检测相关的

研究。而且，MPEG7标准组织已经成立了人脸识别草案小组，人脸检测算法也是一

项征集的内容。随着人脸检测研究的深入，国际上发表的有关论文数量也在大幅度增

长，如IEEE的FG、ICIPCVPR等重要国际会议上每年都有大量关于人脸检测的论

文，占有关人脸研究论文的1/3之多。由此可见世界范围的学者对人脸检测技术的重

视。

1.3概念

人脸检测是指对于任意一幅给定的图像，采用一定的策略进行搜索来确定其中是

否含有人脸，如果是，就返回人脸的位置、大小和姿态。

人脸检测是自动人脸识别系统中的一个关键环节。随着电子商务等应用的发展，

人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能

够对一般图像具有一定的识别能力，由此所面临的一系列问题使得人脸检测开始作为

一个独立的课题受到研究者的重视。现在，人脸检测的应用背景已经远远超出了人脸

识别系统的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应

用价值。

1.4人脸检测及其合成技术的应用领域

近年来，视频人脸检测及其合成技术受到越来越多研究者的关注，这主要由于两方

7

面原因：一方面，计算机计算和存储成本的大幅度下跌使得以视频速率或近似视频速率

采集存储图像序列成为可能；另一方面，视频跟踪识别技术的极为广阔的市场应用前景

也是推动此研究的主要动力。主要应用在一下五个领域：

(1)身份认证与安全防护

最通俗的例子就是门禁控制。门禁控制是为了有效的控制人员的出入，并且记录

所有进出的详细情况，实现对出入的安全管理。人脸门禁系统是一种基于人脸识别技

术的新型访问控制系统，将具有访问权限的访问者的人脸信息存放在人脸数据库中，

对人脸信息进行学习训练。通过摄像机动态捕获人脸，将人脸信息同数据库中人脸信

息进行检索比对，只有图像信息符合的人才可以进入，否则拒绝进入，并对强行进入

者发出报警。

在这个世界上，只要有门的地方几乎都带有一把锁。当然，在许多安全级别要求

较高的区域，例如金融机构、机关办公大楼、运动场馆、甚至重要设施的工地，都需

要对大量的人员进行基于身份认证的门禁管理。手机、笔记本电脑等个人电子用品，

在开机和使用中经常要用到身份验证功能。

(2)媒体与娱乐

人们的许多娱乐活动都是跟脸部有关的。最著名的娱乐节目之一就是川剧的变脸。

在网络虚拟世界里，通过人脸的变化，可以产生大量的娱乐节目和效果。手机、数码相

机等消费电子产品中，基于人脸的娱乐项目越来越丰富。QQ、MSN等即时通信工具以

及虚拟化身网络游戏也是人脸合成技术的广阔市场。

另外还有家庭娱乐。家庭娱乐是指能够识别主人身份的智能玩具，家政机器人，具

有真实面像的虚拟游戏玩家等。随着电子技术水平的提高，家庭娱乐会得到广泛的应用，

其中的关键技术之一也是人脸的跟踪识别。

(3)图像搜索

目前，Google的图像搜索其实还是文字搜索。基于人脸图像识别技术的搜索引擎

将会具有广泛的应用前景。

(4)协助调查

目前，在银行、金库发生抢劫事件已经屡见不鲜。发生这样的事件不是一时就能

够制止的，但是可以通过人脸检测的设备来提取并记录罪犯的人脸，提供给公安机关

以帮助破案。

(5)信息安全

信息安全是指计算机和网络的登录、文件的加密和解密。在信息安全中，人脸的识

别也是其中的一个关键技术。

1.5人脸检测评价标准

人脸检测系统性能主要评价标准有：检测率，误检率，检测速度以及鲁棒性：

8

(1)检测率

被正确检测到的人脸数与图像内包含的人脸数的比值。检测率越高，说明检测系统

对人脸的接受能力越强。

(2)误检率

也称虚警率，误报率。被误检为人脸的非人脸子窗口数与图像内被检测的所有非人

脸子窗口数的比值。设图像内被检测的所有非人脸子窗口数为N2，被误检为人脸的非

人脸子窗口数为从，则误检率为Nl／N2。再设图像内被检测的所有子窗口数为N，图像

内包含的人脸数为Nl，N=Nl。当N>Nl时，误检率近似于Nl／N。

检测率无法反映系统对非人脸的排除能力，有可能出现这种情况：所有人脸都被检

测到，但同时很多非人脸区域被误认为是人脸。因此引入误检率来衡量系统对非人脸的

排除能力。误检率越低，说明检测系统对非人脸的排除能力越强。

(3)检测速度

大部分应用领域需要在线实时地检测人脸，如人脸识别、人脸跟踪，视频监控等。

在检测率和误检率达到满意的前提下，检测速度越快越好。

(4)鲁棒性

即在各种条件下，检测系统的适应能力。如复杂背景的干扰，人脸姿态的影响，光

照条件的影响，以及遮挡等因素的影响。

这四个标准有些是相互制约的，比如误检率随着检测率的提高而提高，检测率随着

误检率的降低而降低。

9

第2章检测方法

人脸检测经历了较长的发展过程，期间涌现出了很多的检测方法，本文以

M．H．Yang在2002年发表的关于人脸检测方法的分类方法把人脸检测方法分为以下四

种：基于知识的方法(Knowledge-badMethods)、特征不变量方法(FeatureInvariant

Approaches)、模板匹配方法(TemplateMatchingMethods)、基于外观的方法

(Appearance-badMethods)。

当然，有许多人脸检测的方法并不能简单地归于上述中的某一类，而是几类的组合。

也可以将人脸检测的方法简单地分为两类：基于特征的和基于图像的。基于特征的方法

指以某种特征为最小处理单元的方法；基于图像的方法指以图像中的像素为处理单元的

方法。

2.1基于知识的方法

此方法是把人脸面部器官之间关系编码并准则化的人脸检测方法。这是一种自顶而

下的方法，根据人脸面部器官的对称性、灰度差异等先验知识，制定一系列的准则。当

图像中的待测区域符合准则，即被检测为人脸。

人脸及器官具有典型的边沿和形状特征，通常人们利用采用Laplacian，Sobel和

Canny等算子来提取边沿特征，将这些特征用于人脸的定位。边沿和形状对于光照条件

的变化具有很好的鲁棒性，灰度特征对光照比较敏感。

每一个人脸都有固定的纹理特征，利用这种特征来区分不同的对象，Skufca和

Augusteijn共同努力研究了一种通过鉴别类似于人脸的纹理推断人脸的存在的方法。

Nakano和Dai也将SGLD模型用于检测人脸，取得了很好的效果。

Yang等首先提出了基于知识规则的由粗到细的三级结构来检测人脸。通过平均和

采样的方法得到原图像在不同分辨率下的图像，那些低分辨率的图像被称为镶嵌图

(MosaicImage)。针对不同分辨率的图像采用不同的准则进行判定，在低分辨率图像里

的准则主要体现了人脸的大体轮廓，而在高分辨率图像里的准则主要体现了人脸的细节

特征。虽然,Yang的方法在检测性能方面并不突出，但由粗至细的检测思想对以后的研

究工作产生了积极的影响。

但是人脸的类型有千差万别，如果制定的规则太细，真正的人脸可能会被漏掉；如

果制定的规则太笼统，有可能造成较高的虚警率。

2.2特征不变量方法

这个方法的目标是寻找那些即使当姿势、视角和光线条件变化时仍然存在的结构特

10

征，并利用这些特征来定位人脸。由于人类能够毫不费劲地“看到”在不同光线和姿态

下的人脸和物体，因此研究人员认为有一个潜在的假设：存在一些关于人脸的不依赖于外

在条件的属性或者特征。有许多方法就是按照这个潜在假设，首先去寻找这种脸部特征（通

过大量样本学习的方法），然后用寻找到的特征去检测人脸。对比基于知识的自上而下

的方法，这种基于特征的方法是自下而上的。

Sirohey提出了用椭圆拟合人脸区域的方法。Graf等人提出了利用某些形态学的方法

进行人脸的检测方法。Leung等人提出一种利用人脸五个特征来定义和检测人脸的方法。

Han等人提出了一种通过形态学眼部分割的方法来进行人脸检测的方法。

与基于知识规则的方法相比，该类方法主要是企图寻找人脸不变化的特征来对人

脸进行检测，特征不变量方法的根本假设是：在所有的人脸检测过程中存在着图像空

域或者频域不变量，而且这种不变量是唯一的。于是人脸检测过程就是在图像中全局

搜索这种不变量。该类方法中所采用的特征不变量主要有：面部特征、纹理。皮肤颜

色和多种特征的融合。该类方法中所采用的一个主要问题是：图像特征极大的收到光

照、遮挡和其它噪声的影响，当阴影存在时，面部的特征辩解将被减弱，而阴影的边

界将被增强，此时导致边缘感知分组无效。

Sirohey提出了一种从复杂背景中分割定位人脸的方法，该方法使用人脸边缘图

信息和椭圆拟合方法检测人脸。Augusterjn提出了一种通过面部相似性纹理信息的人

脸检测方法，通过在1616大小的子图像上计算二阶统计特征纹理信息。在许多的人

脸检测应用中，肤色被认为是人脸检测中一种有效的特征，因为颜色信息和运动信息

是一种有效减少搜索空间的特征。最近，人脸检测最常采用的主要方法是联合几种不

同的特征方法检测。它们首先利用全局特征，如肤色和形状大小等信息寻找人脸候选

区域，再根据局部特征，如眼睛、鼻子和头发等信息来确认候选区域是人脸区域。

在实际的检测情况下，由于噪声和遮挡等问题的存在，人脸的某些特征可能被破坏，

这将严重影响此算法的检测效果。

2.3模板匹配方法

该方法大多是用归一化去互相关，在图像灰度层次上直接比较目标模板和候选图

像区域之间的相似性，得到表示相似程度的值，然后与相应阈值比较判断候选图像区

域是否为人脸区域。其中较为典型的例子就是Yullietlo等提出的基于弹性模板匹配的

人脸检测方法。由于模板本身比较粗略，所以模板匹配的人脸检测方法往往精度不是

很高，而且计算量较大，速度较慢。

模板匹配通常被用于人脸检测的验证，这样可以更进一步提高人脸检测系统的准

确率，它的主要思想是利用模板与待检测图像之间的相关程度来对图像中的入脸进行

判断。可变形模板和预先定义的模板是人脸检测常用的模板。Venkatraman和

GovindarajuI使用小波延伸的方法用于图像的边缘提取。Tsukamoto等提出一个人脸

模式的定性模型(QMF)。QMF方法将每一个样本图像分割成一些块，再对各个块估算

11

其定性特征。

主动形状模型(ASM)和主动外观模型(AAM)是近年来流行的一种对象形状提取

算法，其核心思想是在某种局部点模型匹配的基础上，利用统计模型对待识别的人脸

的形状进行约束，从而转化为一个最优化求解问题，并期望最终收敛到实际的人脸形

状上去。

而且，在实际的检测中，由于人脸的尺度、形状等的变化较大时往往检测效果较

差，此种方法也没有获得较广泛的应用。

2.4基于外观的方法

基于外观的方法也可以称为基于统计的人脸检测方法也可以称为基于分布特征的

检测方法，它是利用统计分析和机器学习等方法来获得人脸和非人脸特征，利用这些特

征和判决函数来进行人脸检测的方法。

MIT的Sung和Poggio提出了一种基于分布特征的人脸检测方法。他们建立了一个

分布模型，指出通过对图像正例和反例样本的学习可以获得人脸的分布模型。该系统由

两个部分组成，人脸模式和非人脸模式的分布模型及一个多层感知器分类器。每一个人

脸和非人脸的学习样本首先进行预处理，包括归一化，直方图均衡等，然后处理为19

×19的图像，将这个图像作为361维的矢量。接下来将这些矢量采用改进的K均值聚

类算法分成6个人脸和6个非人脸的聚类。每一类用它们的均值图像和协方差矩阵表示成

一个高维的高斯函数。见图2-1所示。

图

2-1Sung和Poggio提出的人脸非人脸聚类模型

12

值得强调的是，为了解决人脸检测中“非人脸”样本的选取问题，Sung等人采

用“自举（bootstrap）”方法：首先建立一个只使用“人脸”样本和少量“非人脸”

样本训练的初始分类器对一组图像进行检测，将所有错检非人脸为人脸的图像加入“非

人脸”样本库；然后把得到的“人脸”和“非人脸”样本训练构成一个新的分类器进行

重新检测。将以上过程不断循环，直到收集到了足够的“非人脸”样本。这种循环检测

来得到非人脸的收集方法后来得到许多研究者的使用。

由于人脸图像的复杂性，只使用基本特征与简单规则很难有效地描述人脸与背景的

本质区别，因此基于统计和学习的方法越来越受到重视。这类方法是把人脸区域看作一

类模式，利用统计分析与机器学习的方法对大量人脸样本和非人脸样本进行学习得到各

自的统计特征，然后根据这些特征构造分类器，通过判别图像中所有可能区域属于哪类

模式的方法实现人脸检测。实际上，人脸检测问题被转化为统计模式识别的二分类问题。

该类方法主要包括：线性子空间法、神经网络、隐马尔可夫模型、支持向量机、基于

AdaBoost算法等方法。

13

第3章经典方法概述

人脸检测的方法多于牛毛，基于各种数学模型的方法估计有近百种。本节简单描述

了用于人脸检测的几个经典方法，以便管中窥豹，这几个方法在人脸检测历史上都发挥

过各自的作用。

3.1特征脸

最早用特征向量来进行人脸检测的是Kohonen，他构建了一个简单的神经网络来实

现规范化了的人脸图像的识别。这个神经网络用图像的自相关矩阵的特征向量近似计算

了对人脸的描述。这些特征向量后来就发展成了特征脸(Eigenface)方法。

特征脸是基于从主成分分析（PCA）的一种人脸检测，它根据一组人脸训练样本构

造主元子空间，检测时，将测试图像投影到主元子空间上,得到一组投影系数，再和各

个己知的人脸图像模式比较，从而得到检测结果。

在传统特征脸的基础上，研究者注意到特征值大的特征人脸向量（特征脸）并不一

定分类性能好，而因此发展了多种特征（子空间）选择方法，如Belhumeur的FisherFace

方法等。事实上，特征脸方法是一种显式主元分析人脸建模的方法，而一些线性自联想、

线性压缩型BP网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，

这些向量是训练集叉积阵的主特征向量。特征脸方法是一种简单、快速、实用的基于变

换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，所以

还有着很大的局限性。

3.2神经网络

人工神经网络(ArtificialNeuralNetwork，ANN)方法是通过训练一个网络结构，把

模式的统计信息隐含在神经网络的结构和参数之中。在人工神经网络的方法中，Rowley

的工作较为突出。

Rowley等提出基于神经网络的人脸检测系统。他们的系统分为两个阶段：第一阶

段是基于神经网络的分类器。该分类器的输入是规定尺寸的检测区域，输出为l到．1

的数，由此来判断检测区域是否是人脸(输出接近1为人脸，接近．1为非人脸)：第二阶

段是合并重复检测并判别。由于训练样本以及分类器等因素，在图像中以人脸为中心的

一定区域内会产生重复检测。此阶段使用了一个单层的神经网络对重复检测进行合井，

并使用一个多层的神经网络对检测结果进行判决。以上所述方法局限性在于，仅能检测

正面垂直的人脸。1998年，Rowley等增加了一级神经网络用以检测平面内旋转的人脸

角度，在对原图像进行反旋转后，送到正面人脸检测器中进行检测，使得该系统可以检

14

测图像中按任意的角度旋转的人脸。

图3-1Rowley的带有图像预处理的神经网络系统

用神经网络进行人脸检测的好处是很容易训练一个用于检测人脸模式的系

统。但是，缺点是网络结构需要大范围的调整（层数、结点数、学习速率等等）

才能获得期望的性能。

3.3隐马尔可夫模型方法

隐马尔科夫模型(HiddenMarkovModel，HMM)是用于描述信号统计特性

的一组统计模型。前提假设是模型可被定义为一个参数化的进程。该进程的参数可通过

精确的方法估计出来。HMM使用马尔科夫链来模拟信号统计特征的变化，而这种变

化又是间接地通过观察序列来描述的，因此，隐马尔科夫过程是一个双重的随机过程。

在HMM中，节点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空

间中的任意特征，对同一特征，不同状态表现出这一特征的概率不同。由于HMM是

一个统计模型，对于同一特征序列，可能会对应于许多状态序列，特征序列与状态序列

之间的对应关系是非确定的。这种模型对于状态序列来说是隐的，故称为隐马尔科夫模

型。

Nefian等均各人脸从上到下划分为五个互有重叠的区域(头发、额头、眼、鼻、嘴)。

根据这个划分构造了一个包含五个状态的一维连续HMM用以表示人脸。接着对各块进行

KL变换，取每块若干最大的特征向量作为观测值对HMM进行训练。此后，Nefian等还提

出基于嵌入式HMM的人脸检测方法。该方法同时考虑到人脸由左到右各个特征的自然顺

序，使用二维HMM，并采用二维DCT变换的系数作为观察向量。

3.4支持向量机

支持矢量机（SupportVectorMachines）是由与其领导的贝尔实验室的

小组一起开发出来的一种新的机器学习技术。SVM的理论基础来自于Vapnik等提出

15

的统计学习理论，它的基本思想是，对于一个给定的具有有限数量训练样本的学习任

务，如何在准确性（对于给定训练集）和机器容量（机器可无错误地学习任意训练集

的能力）进行折中，以得到最佳的推广（Generalization）性能。

与传统统计学相比，统计学习理论（StatisticalLearningTheory或SLT）是一种专

门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新

的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求

在现有有限信息的条件下得到最优结果。Vapnik等人从六、七十年代开始致力于此

方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习

方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。

目前将该理论已经得到了一些应用，比如在光学字符识别等方面，并且获得了比

较好的效果，不过由于建立完整的理论体系时间不长，该方法用于人脸检测的很少，

尽管SVM算法的性能在许多实际问题的应用中得到了验证，但是该算法在计算上存

在着一些问题，包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等

等。Osuna等人介绍了一种具体的算法并对人脸识别问题进行了实验。他将样本集分

为两个集合B和N，集合B作为子问题工作样本集进行SVM训练，并给出了两阶

多项式分类器在人脸识别问题中的应用结果。试验结果表明该方法比Sung等提出的

基于分布特征的学习方法的检测率有所提高，同时计算复杂度下降，提高了检测速度。

16

第4章Adaboost算法

4.1概述

4.1.1Adaboost算法简介

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器

(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是

否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新

数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为

最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特徵，并

将关键放在关键的训练数据上面。Adaboost算法是1995年提出的一种快速人脸检测

算法，是人脸检测领域里程碑式的进步，这种算法根据弱学习的反馈，适应性地调整

假设的错误率，使在效率不降低的情况下，检测正确率得到了很大的提高。

Adaboost算法是目前在人脸检测方面检测速度较快、检测效果较好的一种检测方

法，它是一种把弱分类器采用级联的方式训练成为强分类器的方法。这些弱分类器只需

要满足比随机猜测好一点，就能通过不断的修正每个弱分类器的权值，即挑选那些比较

好的分类器，抛弃不好的分类器，从而最终形成由这些弱分类器组成的强分类器，相比

较其他的方法而言，Adaboost方法对每个弱分类器的权值的形成都是无人值守的，完全

自动化的，因而Adaboost算法有着比较好的易用性。大量的实验证明，Adaboost算法是

有效的将多弱分类器强化成为强分类器的一种方法，经过训练的分类器具有比较好的分

类效果，而且速度较快。图4．1给出了Adaboost人脸检测算法进行训练和检测的流程图，

本文也将分训练和检测两个方面介绍Adaboost算法。

17

图4.1Adaboost训练过程

4.1.2Adaboost人脸检测算法

人体检测属模式识别范畴。模式识别方法多种多样，模式识别系统的最终目标是

要在表示空间和解释空间之间找到一种映射关系。这种映射可以是一个分类，也可以

是回归或者描述方案。在这里，我们用分类来叙述。分类方法总得来说可以分为两种：

监督学习和非监督学习。后来又在前两者的基础上发展出了半监督学习方法，这种

方法的本质仍属于监督学习。

统计分类是模式识别发展过程中建立起来的比较经典的方法，其表达方式有着坚

实的理论基础。它主要基于用概率统计模型得到各类别的特征向量分布，以取得分类

的功能。特征向量的取得是基于一个类别已知的训练样本集合。因此，这是一种监督

学习的模式识别方法。在这个意义上，分类器是概念驱动的，用已知类别标签的样本

训练分类器从而得知如何分类。继而对新的样本集达到分类的效果，统计分类方法有

很多具体的方法，它们取决于是否采用一个已知的、参数型的分布模型。

Adaboost算法是统计分类方法中一个经典算法，它由Boosting算法发展而来，是

由Freund和Schapire在1995年提出的，该算法解决了以前Boosting算法在实践中存

人脸

非人脸

Adaboost训练

分类器

检测结果

Adaboost检测

输

入

图

像

训

练

过

程

检

测

过

程

18

在的各种问题。实验表明，Adaboost算法能够显著提高学习精度。

利用Adaboost算法与haar特征（本文将会在第五章详细介绍haar特征）相结合

的方法进行人脸检测。Haar特征是一种基于积分图像的特征，主要在灰度图像中使用，

该特征计算简单，提取速度较快。Adaboost算法首先提取图像中的haar特征，再将

训练得到的haar特征转换成弱分类器，最后将得到的弱分类器进行优化组合用于人脸

检测。

Viola等人在2001年提出使用AdaBoost学习算法的快速人脸检测方法，实现了

实时的正面人脸检测系统。Viola的系统中主要有三个核心思想：首先，提出了一种

称为“积分图像”的图像表示方法，这种表示法能够快速计算出检测器用到的特征；

其次，利用基于AdaBoost的学习算法，从一个较大的特征集中选择少量的关键视觉

特征，产生一个高效的分类器；最后，再用级联的方式将单个的分类器合成为一个更

加复杂的分类器，使图像的背景区域可以被快速地丢弃，而在有可能存在目标(人脸)

的区域花费更多的计算。该人脸检测系统在实时正面人脸检测中能够达到15帧／秒

的速率。由于该方法能够达到较高的检测率并且具有目前最好的实时性，因此激发了

更多研究人员在基于类Haar特征和Boost学习算法的实时人脸检测算法方面的研究。

Intel实验室的RainerLienhart扩展了类Haar特征，在Viola提出的类Haar特征

的基础上添加了旋转45度的类Haar特征，在与Viola系统相同检测率的情况下，降

低了10％的误检率。微软研究院的研究小组把floating搜索的方法引入到

AdaBoost算法中来，并设计了一个金字塔式的检测器结构用于多视角的人脸检测。

4.2弱学习与强学习

弱分类器的设计是集成机器学习的重要内容之一，与一般机器学习算法区别在于弱

分类器设计无需考虑线性不可分问题，这是集成机器学习吸引大量应用研究者关注的主

要原因。

弱分类器的概念来源于Valiant在1984年提出的PAC学习理论，之后Kearns和Valiantl又

提出了强PAC学习和弱PAC学习的概念。在PAC学习模型中，若存在一个多项式级学习

算法来识别一组概念，并且识别正确率很高，那么这组概念是强可学习的；而如果学习

算法识别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。

随机猜测一个是或否的问题，将会有50%的正确率。如果一个假设能够稍微地提高

猜测正确的概率，那么这个假设就是弱学习算法，得到这个算法的过程称为弱学习。可

以使用半自动化的方法为好几个任务构造弱学习算法，构造过程需要数量巨大的假设集

合，这个假设集合是基于某些简单规则的组合和对样本集的性能评估而生成的。如果一

个假设能够显著地提高猜测正确的概率，那么这个假设就称为强学习。

弱分类器就是根据某些单一依据来就行粗略分类的分类器，其分来的准确度要求

很低，只要达到50%以上即可。虽然弱分类器的分类效果很差，但是试想如果将很多

个这样的弱分类器按照一定的规则组合起来便可以形成一个高度准确的强分类器，这

19

也就是级联分类器。

实际上每一个haar特征都可以对应一个弱分类器，每一个弱分类器都是根据它所对

应的haar特征的参数来定义的。如果将所有的haar特征都用来对应一个弱分类器，那么

其总个数将超过数十万个。要想从这样庞大数目的弱分类器中训练出最优弱分类器将是

一个非常巨大的工程，其训练时间也将达到数天之长。因此，这是该进Adaboost性能的

一个关键点所在。

通常情况下，弱学习算法比强学习算法更容易获得。Keams和vallant提出了弱学习

算法与强学习算法间的等价问题，即能否把弱学习算法转化为强学习算法。如果两者等

价，那么在学习概念时，只需要找到一个比随机猜测略好的弱学习算法，就可以直接将

其提升为强学习算法。

Keams和vallant证明：只要有足够的数据，弱学习算法就通过集成的方式生成任意

高精度的假设(强学习方法)。

4.3PAC基本模型

4.3.1概述

PAC（ProbablyApproximatelyCorrect）模型是计算学习理论中常用的模型，是

由Valiant于1984年首先提出来的，由统计模式识别、决策理沦提出了一些简单的概念并

结合了计算复杂理论的方法而提出的学习模型。它是研究学习及泛化问题的一个概率框

架，不仅可用于神经网络分类问题，而且可广泛用于人工智能中的学习问题。

PAC学习的实质就是在样本训练的基础上，使算法的输出以概率接近未知的目标概

念。PAC学习模型是考虑样本复杂度及计算复杂度的一个基本框架，成功的学习被定义

为形式化的概率理论。

4.3.2基本概念

实例空间指学习器能见到的所有实例，用xn指示每个大小为n的学习问题的实例集，

每个xX为一个实例，X=Un>1Xn为实例空间。概念空间指目标慨念可以从中选取

的所有概念的集合，学习器的目标就是要产生目标概念的一个假设，使其能准确地分类

每个实例，对每个n≥1，定义每个2n

X

n

C为Xn上的一系列概念，1CUnCn为X上

的概念空间，也称为概念类。似设空间指算法所能输出的听有假设h的集合，用H表示。

对每个目标概念

n

cC和实例xXn，()cx为实例x上的分类值，即()1cx当且仅当

on

xCC的任一似设h指的是规则，即对给出的xXn，算法在多项式时间内为()cx输

出一预测值。样本复杂度(samplecomplexity)指学习器收敛到成功假设时至少所需的训

练样本数。计算复杂度(computationalcomplexity)指学习器收敛到成功假设时所需的计

20

算量。出错界限指在成功收敛到一个假设前，学习器对训练样本的错误分类的次数。在

某一特定的假设空间中，对于给定的样本，若能找到一似设h，使得对该概念类的任何

概念都一致，且该算法的样本复杂度仍为多项式，则该算法为一致算法。

实例空间为{0,1}nX，概念空间和假设空间均为{0,1}n的子集，对任意给定的准

确度(012)及任意给定的置信度

(01)

，实例空间上的所有分布D及目标

空间中的所有目标函数t，若学习器L只需多项式(,1,1)pn个样本及在多项式

(,1,1)pn时间内，最终将以至少

(1)

的概率输出一假设hH，使得随机样本被

错分类的概率(,)[:()()]

Dr

errorhtPxXhxtx，则称学习器L足PAC学习的。它

是考虑样本复杂度及计算复杂度的一个基本框架，成功的学习被定义为形式化的概率

理沦，其模型如图所示。

图4-1PAC学习模型

从图中知PAC模型是与分布无关的，因对学习器来说，实例上的分布是未知的。该

定义不要求学习器输出零错误率的假设，而只要求其错误率被限定在某常数ε的范围内

(ε可以任意小)；同时也不要求学习器对所有的随机抽取样本序列都能成功，只要其失

败的概率被限定在某个常数δ的范围内(δ也可取任意小)即可。这样将学习到一个可能

近似正确的假设。

4.3.3PAC模型的不足

在实际的机器学习中，PAC模型的不足有：模型中强调最坏情况，它用最坏情况模

型来测量学习算法的计算复杂度及对概念空间中的每个目标概念和实例空间上的每个

分布，用最坏情况下所需要的随机样本数作为其样本复杂度的定义，使得它在实际中不

可用；定义中的目标概念和无噪声的训练数据在实际中是不现实的。

样本复杂度的最坏情况定义意味着即使能准确地计算出某一算法的样本复杂度，仍

对

手

学

习

器

样本

产生

器EX

分布DcC及目标概念

概念类C

准确度



置信度

样本请求

带标记随机实例

21

然得过高估计假设的出错率，这是因为它不是计算某一算法的样本复杂度(即使存在一

个简单的一致算法)，而是对任意一致算法都成立的一个样本复杂度的上界。这就使得

基本的PAC模型不能预测学习曲线(1earningcurve)。

4.4Boosting方法

Boosting原意为提升、加强。现在一般指的是将弱学习算法提升为强学习算法的

一类算法。Boosting算法是在Kearns和Valiant证明后才真正成熟起来的。

1990年，Schapire最先构造出一种多项式级的算法，即最初的Boosting算法。这

种算法可以将弱分类规则转化成强分类规则。一年后，Freund提出了一种效率更高的

Boosting算法。1993年，Drucker和Schapire第一次以神经网络作为弱学习器，应用

Boosting算法来解决实际的OCR问题。

Boosting算法在分类、建模、图像分割、数据挖掘等领域均已得到简单而有效的

应用。1995年，Freund和Schapire提出的Adaboost，是对Boosting算法的一大提高。

4.5Adaboost算法性能分析

强分类器H(x)对训练样本集的误判率称为训练误判率，记为



，则有：

1

1

[()]

R

i

EDHxyN

N







其中，

()

1

{

0

()

Hxy

if

ii

R

ifHxy

ii







对于AdaBoost算法，Freund和Schapire给出了关于训练误判率的重要理论结果。定理：

假设运行Adaboost算法经过T轮训练后生成的弱分类器分别

1,

h，……

T

h，其对样本集误

判率分别

t



，则训练误判率有上界：0.5

t

。详细的证明过程可参见文献。在定理中，

如果每个0.5

t

，令0.5

t

t则最终强分类器

()Hx

的训练误判率上界可改写为：

2

1

2

2

1

14

T

t

t

T

t

t

e













由此可见，训练误判率：随训练轮数T的增大呈指数级的减小。特别的，如果所有的弱

分类器误判率都相等，即

1t

，

1t

上式可简化为：

2

1exp(2)T

可见，强分类器误判率随着弱分类器数量增多和弱分类器误判率的降低而迅速下

降。只要有足够多的弱分类器，就可以使强分类器达到任意低的误判率。对于两分类问

22

题，只需要弱学习算法的准确性略好于随机猜测，便可以保证Adaboost算法收敛。

第5章矩形特征与积分图

5.1引言

本章节将描述对AdaBoost人脸检测训练算法速度很重要的两方面，特征的选取

和特征值的计算。

把矩形作为人脸检测的特征向量，称为矩形特征。本算法选取了最简单的5个矩

形特征模板进行训练，以得到一套用于人脸检测的最适合的矩形特征，事实证明，这

种特征选取方法的训练速度虽然不快，但是检测效率很高。

Viola提出将积分图(integralimage)应用到特征值的计算之中。积分图的引用，可

以只对图像进行一次遍历计算，就能够在用常量时间完成每个特征值的计算，这使得

训练和检测的速度大大提升。

5.2矩形特征

5.2.1概述

将矩形特征作为对输入图像的人脸检测的特征向量，称为矩形特征。在给定有限

的数据情况下，基于特征的检测能够编码特定区域的状态，而且基于特征的系统比基

于象素的系统要快得多。

矩形特征对一些简单的图形结构，比如边缘、线段，比较敏感，但是其只能描述

特定走向（水平、垂直、对角）的结构，因此比较粗略。如下图5-1，脸部一些特征

能够由矩形特征简单地描绘，例如，通常，眼睛要比脸颊颜色更深；鼻梁两侧要比鼻

梁颜色要深；嘴巴要比周围颜色更深。

对于一个24×24检测器，其内的矩形特征数量超过160,000个，必须通过特定

算法甄选合适的矩形特征，并将其组合成强分类器才能检测人脸。

23

图5-1矩形特征在人脸上的特征匹配

(上行是24×24子窗口内选出的矩形特征，

下行是子窗口检测到的与矩形特征的匹配)

5.2.2特征模板

我们将使用简单矩形组合作为我们的特征模板。这类特征模板都是由两个或多个

全等的矩形相邻组合而成，特征模板内有白色和黑色两种矩形（定义左上角的为白色，

然后依次交错），并将此特征模板的特征值定义为白色矩形像素和减去黑色矩形像素

和。本算法选取了最简单的5个矩形特征模板进行训练，以得到一套用于人脸检测的

最合适的矩形特征，事实证明，这种特征选取方法的训练速度虽然不快，但是检测效

率很高。

通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。为了描

述的方便，本文将图5-1的特征模板称为“特征原型”；特征原型在图像子窗口中扩

展（平移伸缩）得到的矩形特征数值（featurevalue）称为“特征值”。

最简单的5个矩形特征模板：

24

(a)(b)(c)(d)

(e)

图5-2人脸检测使用的矩形特征值

矩形特征值是指图像中两个或多个形状大小相同的矩形内所有像素的灰度值之

和的差值。对于图5-2中的a、b和e这类特征，特征数值计算公式为：

vSumSum

白黑

（5.1）

而对于c、d来说，计算公式如下：

2vSumSum

黑

白

（5.2）

公式（5.2）将黑色区域像素和乘以2，是为了使两种矩形区域中的像素数目一致。

假设训练或者检测窗口的大小为WH个像素，w,h分别为特征原型的长、宽，

图5-2所示五种特征原型对应的wh分别为：21，12，31，13，22。

令

[]

W

X

w



，

[]

H

Y

h



，“[]”表示取整。一个

wh

的特征原型在

WH

子窗口产

生的矩形特征数量可用下面的公式计算：

11

(1)(1)

22

XY

XYWwHh





（5.3）

5.3积分图

5.3.1积分图的概念

积分图像就是将原图像中任一点的左上方的全部像素相加作为当前点像素值所

得到的图像。通过积分图像可以方便的计算出原图像中任意矩形区域内的像素点的和

的值，而不用每次都重新计算，从而达到加快计算的目的。

一个简单的微积分类比：如果我们要经常计算()

b

a

fxdx，那我们会先计算

()()Fxfxdx，那么()()()

b

a

fxdxFbFa。见下图5-3。积分图的含义与此类似。

25

图5-3“积分图”与积分的类比

只需要对每个像素进行少量的计算工作，就能得到一幅图像的“积分图”。“积分

图”能够在多种尺度下，使用相同的时间来计算不同的特征，因此大大提高了检测速度。

5.3.2使用积分图计算

由于训练样本通常有近万个，并且矩形特征的数量特别庞大，如果每次计算特征值

都需要统计矩形内所有像素之和，将会大大降低训练和检测的速度。PaulViola等引入

了一种新的图像的表示方法一积分图像，利用它可以快速计算矩形特征。对于输入图像

I，像素点

(,)xy

处的积分图

(,)iixy

定义如下：

(,)(,)

xxyy

iixyIxy









其中(,)Ixy



为图像在点(,)xy



处的像素值，如图5-4积分图(,)iixy的像素值等于图中

灰色部分的所有像素值的和。

5-4积分图

为了得到输入图像I的积分图像，需要逐点扫描图像一次。设(,)Ixy为输入图像各

y

y-1

x-1x

S(x,y)

ii(x-1,y)ii(x,y)

26

点的像素灰度值，

(,)(,)

yy

SxyIxy







为输入图像中像素点(x，y)所在列纵坐标不超过该

点的所有像素灰度值之和（图5-4中浅灰色区域)，则图像I的积分图可按如下递推公式

计算：

(,)(,1)(,)

(,)(1,)(,)

SxySxyixy

iixyiixySxy





（5.4）

其中x和y从0开始，定义

(,1)0,(1,)0sxiiy

。

在得到图像I的积分图像后，就可以方便快捷的计算图像I中任意矩形内所有像素灰

度积分，如图5-4中，点1的积分图像

1

ii的值为：

1

ii=区域A的像素值（5.5）

图5-5点（x,y）处的积分图像值

下面是积分图矩阵的实现代码片断：

for(intx=0;x

for(inty=0;y

{

doubley_yuv=(double)((uchar*)(mar->+mat->step*x))[y];

//如设该点亮度值为d，则该点左侧点的亮度和为c，该点上侧点的亮度和

为b，左上侧点的亮度和为a，则该点的亮度和为d+b+c-a

if(x>0&&y>0)

y_yuv=y_yuv-mymDoubleGet(smat,x-1,y-1);

if(x>0)

y_yuv=y_yuv+mymDoubleGet(smat,x-1,y);

if(y>0)

y_yuv=y_yuv+mymDoubleGet(smat,x,y-1);

//设置该点的亮度和

mymDoubleGet(smat,x,y，y_yuv)；

(x,y)

27

}

for(inti=0;i

{

inth=0;

doublefeature=featureValue(&(Sclissifier->sc[i],smat);

if(feature*Sclissifier->sc[i].psc[i].p*Sclissifier->sc[i].h)

h=1;

doublealpha=log10(1.0/Sclissifier->bt[i]);

sumLeft+=alpha*(double)h;

sumRight+=alpha*thresh;

}

myReleaMat(smat0;

if(sumLeft>=sumRight)

return1;

el

return0;

5.4Haar特征值计算

Haar型特征是Viola等提出的一种简单矩形特征，因类似于Haar小波而得名。如

图2所示，Haar型特征的定义是黑色矩形和白色矩形在图像子窗口中对应的区域的灰

度级总和之差，可见，它反映了图像局部的灰度变化。Viola等用到的Haar型特征共

有4种（图5-7.a~d），我们又增加了8种（图2-7.e~l）。

图像子窗口

28

图特征。（a,b,g,h）两矩形特征；（c,f）

三矩形特征；（d）四矩形特征；（e）“回”字形特征；（i,

j,k,l）“L”形特征。

Haar特征是用积分图像的特点来计算某一矩形区域内的特征值。如计算下图中D区

域内的像素之和：

图5-8应用积分图像计算区域像素值

假设已经求出某一图像的积分图像，根据积分图像的特点，可以迅速计算出原图像

中D区域内的像素的和的值。

1423D

Sffff

其中

D

S是原图像中D区域内的像素的和的值，

1

f、

2

f、

3

f和

4

f分别是积分图像中

点1和2、3和4的值。

从上式我们可以看出，利用积分图像来计算任意区域内的像素点的和的值的过程

快速且计算时间固定。利用这一特点设计出的haar特征提取快速且机器计算时间固定。

29

正是由于haar特征提取速度够快，才使得Adaboost检测算法称为当前最快的检测算法之

一。

我们将使用简单矩形组合作为我们的特征模板。这类特征模板是由两个或多个全

等的矩形相邻组合而成，特征模板内有黑色和白色两种矩形，并且两种颜色依次交错。

为了计算特征模板的特征值，我们事先规定白色像素点值为+1，黑色像素点值为-1，那

么特征模板的特征值计算为模板内白色矩形像素和加上黑色矩形像素和。下面列举了几

种最常用的特征模板：

(1)边缘特征(2)扩展的边缘特征

(3)线形特征(4)扩展的线形特征

(5)中心特征(6)扩展的中心特征

图5-8几种常见的特征模板

下面以特征模板（5）为例利用积分图像计算特征值，过程如下：

区域（A）特征值为：

41238567

()(())iiiiiiiiiiiiiiii

区域（B）特征值为：

8567

()iiiiiiii

综合上面两个式子可以得到特征模板（5）的特征值为：

1区域（A）特征值+(-1)区域（B）特征值

=

41238567

()(())iiiiiiiiiiiiiiii

(

8567

()iiiiiiii)

41238567

(())2(())iiiiiiiiiiiiiiii

30

图5-8特征模板（5）的特征值计算

由上述计算过程可以看出，利用积分图像的矩形特征的特征值计算只与特征顶点的

积分图值有关，而与图像坐标值无关。因此，不论此矩形特征的尺度如何，特征值的计

算所消耗的时间都是一个常量，而且都只是简单的加减运算。正是这个原因，大大提高

了Adaboost分类器的检测速度。

56

78

A

B

（1，1）

31

第6章人脸检测的实现

6.1OpenCV概述

6.1.1OpenCV简介

OpenCV是Intel公司支持的开源计算机视觉库。它轻量级而且高效——由一系

列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。

1999年在俄罗斯设立的软件开发中心“SoftwareDevelopmelltCellter¨开发的。

OpenCV采用C/C++语言编写，可以运行在Linux/Windows/Mac等操作系统上。

OpenCV还提供了Python、Ruby、MATLAB以及其他语言的接口。OpenCV的设计目

标是执行速度尽量快，主要关注实时应用。它采用优化的C代码编写，能够充分利用

多核处理器的优势。如果是希望在Intel平台上得到更快的处理速度，可以购买Intel

的高性能多媒体函数库IPP(IntegratedPerformancePrimitives)。IPP库包含许多从底层

优化的函数，这些函数涵盖多个应用领域。如果系统已经安装了IPP库，OpenCV会

在运行时自动使用相应的IPP库。

OpenCV的一个目标是构建一个简单易用的计算机视觉框架，以帮助开发人员更

便捷地设计更复杂的计算机视觉相关应用程序。OpenCV包含的函数有500多个，覆

盖了计算机视觉的许多应用领域，如工厂产品检测、医学成像、信息安全、用户界面、

摄像机标定、立体视觉和机器人等。因为计算机视觉和机器学习密切相关，所以

OpenCV还提供了MLL(MachineLearningLibrary)机器学习库。该机器学习库侧重于

统计方面的模式识别和聚类(clustering)。MLL除了用在视觉相关的任务中，还可以方

便地应用于其他的机器学习场合。

6.1.2应用领域

自从OpenCV在1999年1月发布alpha版本开始，它就被广泛用在许多应用领域、

产品和研究成果中。相关应用包括卫星地图和电子地图的拼接，扫描图像的对齐，医

学图像去噪(消噪或滤波)，图像中的物体分析，安全和入侵检测系统，自动监视和安

全系统，制造业中的产品质量检测系统，摄像机标定，军事应用，无人飞行器，无人

汽车和无人水下机器人。将视觉识别技术用在声谱图上，OpenCV可以进行声音和音

乐识别。在斯坦福大学的Stanley机器人项目中，OpenCV是其视觉系统的关键部分。

Stanley在DARPA机器人沙漠挑战赛中，赢得了二百万美元奖金。

32

6.1.3OpenCV的起源

OpenCV诞生于Intel研究中心，其目的是为了促进CPU密集型应用。为了达到

这一目的，Intel启动了多个项目，包括实时光线追踪和三维显示墙。一个在Intel工

作的OpenCV作者在访问一些大学时，注意到许多顶尖大学中的研究组(如MIT媒体

实验室)拥有很好的内部使用的开放计算机视觉库——(在学生们之间互相传播的

代码)，这会帮助一个新生从高的起点开始他/她的计算机视觉研究。这样一个新生可

以在以前的基础上继续开始研究，而不用从底层写基本函数。

因此，OpenCV的目的是开发一个普遍可用的计算机视觉库。在Intel的性能库团

队的帮助下，OpenCV实现了一些核心代码以及算法，并发给Intel俄罗斯的库团队。

这就是OpenCV的诞生之地：在与软件性能库团队的合作下，它开始于Intel的研究

中心，并在俄罗斯得到实现和优化。

俄罗斯团队的主要负责人是VadimPisarevsky，他负责管理项目、写代码并优化

OpenCV的大部分代码，在OpenCV中很大一部分功劳都属于他。跟他一起，Victor

Eruhimov帮助开发了早期的架构，ValeryKuriakin管理俄罗斯实验室并提供了很大的

支持。在开始时，OpenCV有以下三大目标：

(1)为基本的视觉应用提供开放且优化的源代码，以促进视觉研究的发展。能有

效地避免“闭门造车”。

(2)通过提供一个通用的架构来传播视觉知识，开发者可以在这个架构上继续开

展工作，所以代码应该是非常易读的且可改写。

(3)本库采用的协议不要求商业产品继续开放代码，这使得可移植的、性能被优

化的代码可以自由获取，可以促进基于视觉的商业应用的发展。

这些目标说明了OpenCV的缘起。计算机视觉应用的发展会增加对快速处理器的

需求。与单独销售软件相比，促进处理器的升级会为Intel带来更多收入。这也许是

为什么这个开放且免费的库出现在一家硬件生产企业中，而不是在一家软件公司中。

从某种程度上说，在一家硬件公司里，在软件方面会有更多创新的空间。

6.1.4OpenCV的基本结构

OpenCV主体分为五个模块，其中四个模块如图6-1所示。OpenCV的CV模块

包含基本的图像处理函数和高级的计算机视觉算法。ML是机器学习库，包含一些基于

统计的分类和聚类工具。HighGUI包含图像和视频输入/输出的函数。CXCore包含

OpenCV的一些基本数据结构和相关函数。

33

图6-1OpenCV的基本结构

图6-1中并没有包含CvAux模块，该模块中一般存放一些即将被淘汰的算法和

函数(如基于嵌入式隐马尔可夫模型的人脸识别算法)，同时还有一些新出现的实验性

的算法和函数(如背景和前景的分割)。

6.1.5OpenCV的特征

OpenCV的主要特征有以下几个方面：

(1)图像数据的操作(分配、释放、复制、设置和转换)。

(2)图像是视频的输入输出I/O（文件与摄像头的输入、图像和视频文件输出）。

(3)矩阵和向量的操作以及线性代数的算法程序（矩阵积、解方程、特征值以及奇异

值等）。

(4)各种动态数据结构（列表、队列、集合、树、图等）。

(5)基本的数字图像处理（滤波、边缘检测、角点检测、采样与差值、色彩转换、形

态操作、直方图、图像金字塔等）。

(6)结构分析（连接部件、轮廓处理、距离变换、各自距计算、模板匹配、Hough变

换、多边形逼近、直线拟合、椭圆拟合、Delaunay三角划分等）。

(7)摄像头定标（发现与跟踪定标模式、定标、基本矩阵估计、齐次矩阵估计、立体

对应）。

(8)运动分析（光流、运动分割、跟踪）。

(9)目标识别（特征法、隐马尔可夫模型：HMM）。

(10)基本的GUI（图像与视频显示、键盘和鼠标事件处理、滚动条）。

(11)图像标注（线、二次曲线、多边形、画文字）

MLL

统计分类器

CV

图像处理和视觉算法

HighGUI

GUI

图像和视频输入/输

出

CXCORE

基本结构和算法、XML支持、绘图函数

34

6.2OpenCV在检测中的应用

6.2.1编译OpenCV

(1)用CMake导出VC++项目文件

①运行cmake-gui，设置路径为OpenCV安装路径（本文档安装位置为：

D:ProgramFilesOpenCV2.0），并创建子目录D:Program

FilesOpenCV2.0vc2008，用于存放编译结果。

②然后点configure，在弹出的对话框内选择VisualStudio92008。

③因为是VC++2008的Express版本，不支持OpenMP，所以需要取消

ENABLE_OPENMP选项。

(2)编译OpenCVDebug和Relea版本库

完成上一步骤后，将在D:ProgramFilesOpenCV2.0vc2008目录下生成

的VCSolutionFile，用VC++2008Express打开，然后执行如

下操作：

①在Debug下，选择SolutionExplorer里的SolutionOpenCV，点右键，运行

"RebuildSolution"(见图6-2)；如编译无错误，再选择INSTALL项目，运行

"Build"（见图6-3）。

②在Relea下，选择SolutionExplorer里的SolutionOpenCV，点右键，运行

"RebuildSolution"（见图6-4）；如编译无错误，再选择INSTALL项目，运行

"Build"。（见图6-5）

此时，OpenCV的*文件（fordebug）和*.dll文件（forrelea）将出现在

D:ProgramFilesOpenCV2.0vc2008bin目录中；OpenCV的*文件（fordebug）和

*.lib文件（forrelea）将出现在D:ProgramFilesOpenCV2.0vc2008lib目录；头文

件*.h出现在D:ProgramFilesOpenCV2.0vc2008includeopencv中。

可以被VC++2008Express调用的OpenCV动态库生成完毕。

35

图6-2在Debug下运行"RebuildSolution"

图6-3在Debug下编译无误，运行"Build"

36

图6-4在Relea下运行"RebuildSolution"

图6-5在Relea下运行无误，运行"Build"

6.2.1为VC++2008Express配置OpenCV环境

(1)打开VC++2008Express，菜单Tools->Options->ProjectsandSolutions->VC++

37

Directories

①Showdirectoriesfor选择includefiles，加入目录D:Program

FilesOpenCV2.0vc2008includeopencv

②Showdirectoriesfor选择libraryfiles，加入目录D:Program

FilesOpenCV2.0vc2008lib

关闭VC++2008Express。

(2)使用OpenCV2.0编程

①打开VC++2008Express，创建一个Win32控制台程序opencvhello；

②选择SolutionExplorer里的opencvhello项目，点击鼠标右键，选择Properties；

③为项目的Debug配置增加依赖的库：

④为项目的Relea配置增加依赖的库：

⑤编译运行附录里的例程（需要将文件放在项目目录下）。

6.3实验结果

（1）单个人脸检测

总数1/漏检0/错检0

(2)多个人脸检测

38

总数10/漏检3/错检0

(3)多个人脸检测

总数2/漏检0/错检0

39

6.4结论

从实验结果可以看出，这种检测人脸的方法的漏检率还是比较高的。从有限的

实验结果来分析，漏检的原因主要在于待检测的人脸中眼睛部分不够清晰。这主要是

因为训练集数量太少，而且非人脸样本比重偏低。事实上，世界上的非人脸样式要远

远大于人脸样式，因此有足够多的非人脸样本，才能够让分类器对非人脸图案的“分

辨”能力大大提高。

40

参考文献

[1]M．F．AugusteijnandT．L．Skujca，“IdentificationofHumanFacesthroughTexture·BadFeature

RecognitionandNeuralNetworkTechnology,”Proc．IEEEConf．NeuralNetworks，PP．392-398，1993．

[2]ViolaP，JonesM．Rapidobjectdetectionusingaboostedcascadeofsimplefeature[c]．In：

ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition，Kauai，Hawaii，USA，

2001，1：I-51l-518．

[3],nf

onComputerVisionandPatternRecognition,Kauai,Hawaii,USA:IEEEComputerSociety,2001.

[4]M．Venkatraman,v．Govindamju,“Zerocrossingsofanon-orthogonalwavelettransformforobject

location”，icip,v01．3，PP．3057，1995

[5]A．Tsukamoto，C．-W．Lee，andS．Tsuji，“DetectionandTrackingofHumanFacewith

SynthesizedTemplates，”Proc．FirstAsianConf．ComputerVision，PP．183-186，1993．

[6]A．Tsukamoto，C．-W．Lee，andS．Tsuji，“DetectionandPoEstimationofHumanFacewith

SynthesizedImageModels，”Proc．Int’lConf．PatternRecognition，PP．754-757，1994．

[7]TFCootes，CJTaylor,DHCooper,eta1．Activeshapemodel—theirtrainingand

application[J]．ComputerVisionandImageUnderstanding，1995，6l(1)：38—59

[8]ViolaP.，JonesM.J.、RobustReal-TimeFaceDetection、InternationalJournalofComputerVision

57(2),137-154,2004

[9]

Disrtation,MassachuttsInstituteofTechnology,1996

[10]SungKK,cal

ReportAIMemo1521,MITAILab,1994

[11]SungKK,

TransactionsonPatternAnalysisandMachineIntelligence,1998,20(1):38-51

[12]R．Lienhart．J．Maydt．AnExtendedSetofHaar-1ikeFeaturesforRapidObject

Detection[C]．IEEEICIP．2002(1)：900-903．

[13]ureofStatisticalLearningTheory,NY:Apringer-Verlag,1995张学工译。

统计学习理论的本质。北京：清华大学出版社，2000

[14]OsuuaE,FreundR,ngsupportvectormachines:Anapplicationtoface

eedingsofIEEEConferenceonComputerVision,pages555-562,1998

[15]杨涛．人脸检测与跟踪[D]，西北工业大学，2004年3月．

[16]HuangFJ，ChenT．Trackingofmultiplefacesforhuman—computerinterfacesand

virtualenvironments[C]．IEEEIntl．Conf．onMultimediaandExpo．NewYork，July2000．

[17]周德华，毛敏峰，徐浩．一种多人脸跟踪算法的研究与实现[J]，电视技术，2005，275(5)：

88～90．

41

[18]李刚，高政、人脸自动识别方法综述、计算机应用研究、2003,Vol8:4-9

[19]ViolaP.，JonesM.J.、RobustReal-timeObjectDetection、CambridgeRearchLaboratory,

TechnicalReportSeries、CRL2001/01

[20]高建坡，王煜坚，杨浩等．一种基于KL变换的椭圆模型肤色检测方法[J]．电子与信息学

报．2007，V01．29，No．7．

[21]邢果，戚文芽．彩色空间的肤色分割及其在人脸检测中的应用[J]．视频技术应用与工

程．2006．

[22]高建坡．视频序列中的人脸检测与跟踪算法研究．东南大学博士学位论文．2007，3．

42

致谢

在我做毕业设计及写论文期间都是在赵菊敏老师的全面、具体指导下进行完成的。虽然赵老

师平时工作繁忙，有很多事情要处理，但还是时常抽出时间来关心我的毕业设计，给予我指导，

督促我抓紧时间完成课题。赵老师渊博的学识、敏锐的思维、民主而严谨的作风使我受益非浅，

并终生难忘。

感谢王宏彬师兄在毕业设计工作中给予的帮助，他悉心的指引论文写作的方向和架构，并对

本论文初稿进行逐字批阅，指正出其中误谬之处，使我有了思考的方向，使我的论文更加成熟。

论文的顺利完成，也离不开其它各位老师、同学和朋友的关心和帮助。在整个的论文写作中，

各位老师、同学和朋友积极的帮助我查资料和提供有利于论文写作的建议和意见，在他们的帮助

下，论文得以不断的完善，最终帮助我完整的写完了整个论文。另外，要感谢在大学期间所有传

授我知识的老师，是你们的悉心教导使我有了良好的专业课知识，这也是论文得以完成的基础。

通过此次的论文，我学到了很多知识，跨越了传统方式下的教与学的体制束缚，在论文的写

作过程中，通过查资料和搜集有关的文献，培养了自学能力和动手能力。并且由原先的被动的接

受知识转换为主动的寻求知识，这可以说是学习方法上的一个很大的突破。在以往的传统的学习

模式下，我们可能会记住很多的书本知识，但是通过毕业论文，我们学会了如何将学到的知识转

化为自己的东西，学会了怎么更好的处理知识和实践相结合的问题。

在论文的写作过程中也学到了做任何事情所要有的态度和心态，首先我明白了做学问要一丝

不苟，对于出现的任何问题和偏差都不要轻视，要通过正确的途径去解决，在做事情的过程中要

有耐心和毅力，不要一遇到困难就打退堂鼓，只要坚持下去就可以找到思路去解决问题的。在工

作中要学会与人合作的态度，认真听取别人的意见，这样做起事情来就可以事倍功半。

总之，此次论文的写作过程，我收获了很多。此次论文的完成既为大学四年划上了一个完美

的句号，也为将来的人生之路做好了一个很好的铺垫。

最后再次感谢在大学传授给我知识以及给我帮助和鼓励的老师，同学和朋友，谢谢你们！

43

附录一人脸检测源程序

#include"cv.h"

#include"highgui.h"

#include

#include

#include

#include

#include

#include

#include

#include

#include

#ifdef_EiC

#defineWIN32

#endif

staticCvMemStorage*storage=0;

staticCvHaarClassifierCascade*cascade=0;

voiddetect_and_draw(IplImage*image);

constchar*cascade_name=

"haarcascade_frontalface_";

/*"haarcascade_";*/

intmain(intargc,char**argv)

{

CvCapture*capture=0;

IplImage*frame,*frame_copy=0;

intoptlen=strlen("--cascade=");

constchar*input_name;

if(argc>1&&strncmp(argv[1],"--cascade=",optlen)==0)

{

cascade_name=argv[1]+optlen;

input_name=argc>2?argv[2]:0;

}

el

44

{

cascade_name="../../data/haarcascades/haarcascade_frontalface_";

input_name=argc>1?argv[1]：0;

}

cascade=(CvHaarClassifierCascade*)cvLoad(cascade_name,0,0,0);

if(!cascade)

{

fprintf(stderr,"ERROR:Couldnotloadclassifiercascaden");

fprintf(stderr,

"Usage:facedetect--cascade=""[filename|camera_index]n");

return-1;

}

storage=cvCreateMemStorage(0);

if(!input_name||(isdigit(input_name[0])&&input_name[1]=='0'))

capture=cvCaptureFromCAM(!input_name?0:input_name[0]-'0');

el

capture=cvCaptureFromAVI(input_name);

cvNamedWindow("result",1);

if(capture)

{

for(;;)

{

if(!cvGrabFrame(capture))

break;

frame=cvRetrieveFrame(capture);

if(!frame)

break;

if(!frame_copy)

frame_copy=cvCreateImage(cvSize(frame->width,frame->height),

IPL_DEPTH_8U,frame->nChannels);

if(frame->origin==IPL_ORIGIN_TL)

cvCopy(frame,frame_copy,0);

el

cvFlip(frame,frame_copy,0);

detect_and_draw(frame_copy);

if(cvWaitKey(10)>=0)

45

break;

}

cvReleaImage(&frame_copy);

cvReleaCapture(&capture);

}

el

{

constchar*filename=input_name?input_name:(char*)"";

IplImage*image=cvLoadImage(filename,1);

if(image)

{

detect_and_draw(image);

cvWaitKey(0);

cvReleaImage(&image);

}

el

{

/*assumeitisatextfilecontainingthe

listoftheimagefilenamestobeprocesd-oneperline*/

FILE*f=fopen(filename,"rt");

if(f)

{

charbuf[1000+1];

while(fgets(buf,1000,f))

{

intlen=(int)strlen(buf);

while(len>0&&isspace(buf[len-1]))

len--;

buf[len]='0';

image=cvLoadImage(buf,1);

if(image)

{

detect_and_draw(image);

cvWaitKey(0);

cvReleaImage(&image);

}

}

fclo(f);

}

}

46

}

cvDestroyWindow("result");

return0;

}

voiddetect_and_draw(IplImage*img)

{

staticCvScalarcolors[]=

{

{{0,0,255}},

{{0,128,255}},

{{0,255,255}},

{{0,255,0}},

{{255,128,0}},

{{255,255,0}},

{{255,0,0}},

{{255,0,255}}

};

doublescale=1.3;

IplImage*gray=cvCreateImage(cvSize(img->width,img->height),8,1);

IplImage*small_img=cvCreateImage(cvSize(cvRound(img->width/scale),

cvRound(img->height/scale)),

8,1);

inti;

cvCvtColor(img,gray,CV_BGR2GRAY);

cvResize(gray,small_img,CV_INTER_LINEAR);

cvEqualizeHist(small_img,small_img);

cvClearMemStorage(storage);

if(cascade)

{

doublet=(double)cvGetTickCount();

CvSeq*faces=cvHaarDetectObjects(small_img,cascade,storage,

1.1,2,

0/*CV_HAAR_DO_CANNY_PRUNING*/,

cvSize(30,30));

t=(double)cvGetTickCount()-t;

printf("detectiontime=%gmsn",t/((double)cvGetTickFrequency()*1000.));

for(i=0;i<(faces?faces->total:0);i++)

47

{

CvRect*r=(CvRect*)cvGetSeqElem(faces,i);

CvPointcenter;

intradius;

center.x=cvRound((r->x+r->width*0.5)*scale);

center.y=cvRound((r->y+r->height*0.5)*scale);

radius=cvRound((r->width+r->height)*0.25*scale);

cvCircle(img,center,radius,colors[i%8],3,8,0);

}

}

cvShowImage("result",img);

cvReleaImage(&gray);

cvReleaImage(&small_img);

}

48

附录二外文翻译

ASurveyofHumanFaceDetection

Abstract:Thefaceimageprocessing,includingfacedetection,facerecognition,face

tracking,tructtheautomatic

processingoffacialimageinformationsystems,firstofallneedrobustandefficientface

isoftheproblemoffacedetectionmethods,andclassification

nowledge-badapproach,featuresthesame

method,templatematchingmethodandmethodbadontheappearanceoffourintroduced

therelatedalgorithmsandtheoryoftheadvantagesanddisadvantagesofeachmethodand

prentstheproblemoffacedetectionfurtherrearch.

Keywords:facedetection;facerecognition;badonvisualidentification;statistical

patternrecognition;machinelearning

1Introduction

Inrecentyears,faceandfacialexpressionrecognitionhasattractedmoreattention

eprocessingsystem,thefirststepistodetectthefacepositionin

r,fromanimageinthedetectionofhumanfacesisachallengingtask

becauofitsscale,location,directionandposturearechanged,andfacialexpression,

occlusionandlightingconditionsalsochange.

Facedetectionisallintheinputimagetodeterminetheface(ifitexists)ofthe

location,tectionfaceinformationprocessingasa

keytechnologyinrecentyearshasbecomethefieldofpatternrecognitionandcomputer

vision,aattracteduniversalattention,thesubjectofactiverearch.

49

Facerecognitionoridentification,facedetectionandfacetrackingandfacedetectionare

pooffacedetectionistodeterminethelocationoftheimage

eanimagethereisonlyoneface,thefacialfeaturedetectionaimsto

detecttheprenceandlocationoffeaturessuchayes,no(nostrils)(eyebrows)(mouth)

(mouth)cognitionoridentificationistheinputimageanddataba

imagecomparison,cognitionisdesignedtotesttheinput

imageintheidentityoftheindividual,butthefacetrackingisreal-time,continuous

estimat

expressionrecognitioninvolvesidentifyinghumanemotionalstates(happy,sad,disgusted,

etc.).Clearly,anysolutiontotheproblemintheautomaticrecognitionsystem,face

detectionisthefirststep.

Fromafaceimagedetectionmethodcanbedividedintothefollowingfour:

(1)Knowledge-badMethodsItwillfacetheformationofatypicalrulebais

y,bytherelationshipbetweenfacialfeaturesface

detection.

(2)FeatureInvariantApproachesThealgorithmisaimedatattitude,perspectiveor

lightingconditionschangeinthecaofthestructuralfeaturesfoundthere,andthenu

thecharacteristicsdeterminetheface.

(3)TemplateMatchingMethodsStorageofveralstandardfacemodeltodescribethe

wholefaceandfacialfeatures;calculatetheinputimageandthestoredrelationship

betweenmodelandfortesting.

(4)Appearance-badMethodsTemplatematchingmethodwithcontrast,focuson

learningfromthetrainingimagestoobtainmodel(ortemplate),andthemodelsfor

testing.

2Knowledge-badapproach

50

Knowledge-badapproachisrule-badfacedetectionmethods,rules,rearchers

llyeasiertomakesimplerulesto

describethefacialfeaturesandtheirmutualrelations,suchastheimageappearsinaface,

usuallysymmetricalwitheachothertwoeyes,onships

fall,inthe

inputimageextractedfacialfeatures,determinetherules-badcodingoffacecandidate

regions.

Thisapproachisverydifficultproblemsofhumanknowledgeintowell-definedrules.

Iftherulesaredetailed(strict),becautherulescannotdetectallpossiblefailures;Ifthe

rulesaretoogeneral(common),tion,it

isdifficulttoextendthisapproachtounderdifferentpofacedetection,becauthelistall

thecasisaverydifficulttask.

YangandHuanguofhierarchicalknowledge-badfacedetectionmethod,their

ighestlevel,byscanningtheinputimagewindow

andapplicationoftherulestforeachlocationtofindallthepossiblefacecandidatearea.

Descriptionoftherulesusuallyhigherfacelookslikewhat,whilelower-levelrulesdepend

chicalmulti-resolutionimagesgeneratedbythe

averageandthecondsample,ngrulesareusuallyestablished

undertheresolutioninthelowerfaceofthecandidateareas,includingthecentralpartof

theface(Figure2,shadedlighter),ofwhichfourarebasicallythesamegrayscaleunits.

terofthefaceandupperpart

estresolution(Lever1)imageudtoarch

humanfacecandidateareaandtheresolutionofthelater,moresophisticatedtomakean

2completedinthecandidateregionfacelocalhistogram

tinuedexistenceofthecandidateareasinLever3

withotherfacialfeatures,suchayes,mouthandothercorrespondingrulestobechecked.

Characteristicofthismethodistoufromtherough-finestrategytoreducetherequired

51

calculation,althoughitisnotveryhighdetectionrate,butthemulti-resolutionhierarchical

thinkingandtodirectthearchoftheruleshavebeenudbehindthefacedetection

work.

tionmethod

udtodeterminefacialcharacteristics,I(x,y)ism×nimage(x,y)positiongrayvalue,

theimageofhorizontalandverticalprojectiondefinedHI(x)=Σny=1I(x,y)andVI(y)

=Σmx=1I(x,y).BydramaticchangesintheHIdetectedinthetwolocalminimum,

whichcorrespondstotheheadleftandrightsides,gettheleveloftheinputimagecontour.

Similarly,accesstotheverticalprofile,determinethelocalminimumpointforpositioning

thelips,haracteristicsformthedetectedfacecandidatearea.

LiHuasheng,andothersmadefromthefaceofregionalgrowthinthegmenttheface

image,andthenuedgedetection,Houghtransform,templatematchingandvariance

projectiontechnologycanquicklyandeffectivelyextractthefacialorganssuchayes,

ultsshowthattheapproachtheyhaveahigher

accuracyrate(95.5%)andilluminationrobustness.

JiangJun,tent

nalysisof

enoughsamplesoffaceimagesbadongray-scaleimagesofhumanfaceandedge

informationtobuildamorecompleteknowledgeba;tospeedupthedetectionrate,using

mentalresultsshowthatthemethodisrobust,cansolve

thecomplexbackgroundofmultiplefacesdetection.

LuChunetalonthemosaicmethodisimproved,accordingtothedistributionofface

tofaceorganisdividedinto3×3withmosaicpieces,thedetectionadaptivelyadjustthe

sizeofeachblock,usingatbadonthestatisticalcharacteristicsofintensityand

gradientblockofknowledgerulestestwhetherthehumanfaceoftheregion,achieved

goodresults.

52

3Feature-badmethods

Feature-badmethodcannotonlyfacialfeaturesfromtheexistingbutalsofromtheir

wledge-badapproachinstead,itistofindthe

ademanyfirstfacialfeaturedetection,

features,suchayebrows,

eyes,no,mouthandhair,thegeneraluoftheedgedetectorextractedbythefeature,

buildstatisticalmodelsdescribingtherelationshipbetweenfeaturesandtodeterminethe

e-badalgorithmproblemisthat,duetolight,noi

andocclusioncharacteristicssuchastheimagewasriouslydamaged,thecharacteristics

oftheboundaryfaceisweakened,theshadowmaycauastrongedge,theedgemaymake

thealgorithmsdifficulttou.

Siroheypropodgmentationfromcomplexbackgroundforrecognitionofface

theedgemapandtheheuristicalgorithmtoremoveand

organizationaledge,butonlytosaveacontour,andthenfittedwithanovalheadareaand

,whomadepositioningoffacialfeaturesandthegray

hefiltering,themethodincreadwiththemorphology

ofhighbrightness,withcertainshapes(suchastheeyes),whopropoda

detectorbadonlocalcharacteristicsandtheprobabilityofanygraphmatchingmethod,

listofindthefacialfeaturestodeterminethe

alfacewiththefivefeatures(twoeyes,twonostrilsandthenoand

lipsjunction)irststage,

theapplicationofthecondderivativeGaussianfilter,thefilterrespontodetectionof

localmaximumpointsofinterestthatmaybethelocationoffacialfeatures;thecond

stage,checktheinterestingpointsaroundtheedgeofthemcompositionoftheregion.

Advantage

etalpropodatechniquebadonmorphologicalgmentationandthusachievetheeye

53

inktheeyesandeyebrowsarethemostprominentfacial

characteristicsandstability,particularlysuitableforfacedetection.

Pengandothersintotheindustrymadeintheimageofasymmetricbiorthogonal

waveletcoefficientsdomain,symmetricmulti-scaletransformationmethod,andappliesit

-JiangWangandothers,afast

hodof

calculatingthefirstpersonofcolorimageswithsimilarpixelcolorclusteringand

gmentation,andthenusingwaveletdecompositionofacandidateregionforeachfacial

featureanalysis,suchastheregionalcharacteristicsofthedetecteddistributionofa

pre-definedmodelsimilartothehumanfaceisrecognizedreprentativeoftheregionface.

Inthefacedetectionandhandtracking,andmanyotherapplications,hasbeenudas

ghdifferentpeoplehavedifferentskincolor,

rearch

skinpixelcolorspace,includingRGB,normalizedRGB,HSV(orHIS),YcrCb,YIQ,YES,

simplestmodelistheuofCr,Cbvaluetodefineaskincolorpixelarea,thatis,R(Cr,

Cb),llychonthreshold[Cr1,Cr2]

and[Cb1,Cb2],ifthepixelvalue(Cr,Cb)tomeettheCr1≤Cr≤Cr2,Cb1≤Cb≤Cb2,

wasclassifiedintheskintones.

ntyears,

veralhavebeenpropodtoushapeanalysis,colorgmentationandmotion

informationcombinedwiththemodularsystemudintheimagequencetolocateand

tracktheheadandfacemethod.

4TemplateMatching

54

Sakaiandotherstoutheeyes,no,mouthandfacialcontoursub-template

modeling,b-linedividedaccordingtothe

ntbadonthemaximumextractionoftheinputimage

line,ingsub-imageandtherelationship

betweenthetemplatecontourtodetectthefacecandidateregion,completewiththeother

sub-templatematchinginthecandidateregion.

Craw,whopropodapositivefaceontheshapeofthetemplate(thatis,faceshape)

tedusingSobelfilteredge,theedgeorganizationstogether,

ositioninginthe

firstprofilewiththesameprocessrepeatedindifferentscaleslocatetheeyes,eyebrowsand

lipsandotherfeatures.

delaccordingto

thedefinitionofthecharacteristicsoftheedgeofcomposition,thefeaturesdescribethe

frontleftsideofface,stbevertical,noshelterand

positive.

Miao,

thefirstpha,inordertorotatetheimageprocessing,inputimagesfrom-20°~20°

rotation,everyrotation5°.Multi-resolutionimageformationandedgedetectionusing

mplatesgeneratedbysixfacetheedgeofthe

compositionofcomponents:twoeyebrows,twoeyes,y,the

ultsshowthatan

individualfacesintheimagecontainstheimagecontainsmorethantheresultofgood

personalface.

HongLiangLu,

approachtakesaccountoftheeyeinhumanfacerecognitionprocessofthespecialroleof

55

thetemplatetoubotheyesforcoarfilterfirst,thenfaceadifferentaspectratioto

matchthetemplate,thefinalvalidationrulestoumosaic.

ZHOUJietalpropodanewfacefacialcontourextractionalgorithm,thatis,apriori

templateandtheuofalternativecompensationmechanismstoextractthefacecontour.

Experimentalresultsshowthatthepropodfeatureextractionalgorithmefficientand

robustperformanceisgood.

Appearance-badmethods5

Templatematchingofthetemplateispredefinedbyexperts,andtemplatematching

methodsindifferentwaysbadontheappearanceofthe"template"imageofthesample

lly,themethodreliesontheappearanceofstatisticalanalysisand

machinelearningtechniquestofindthecorrespondingnon-faceimageoffaceandfeatures.

Studythecharacteristicsofthedistributionmodelordiscriminantfunctionformforface

detection,thesametime,computationalefficiencyandeffectivenessofthereasonsfor

testingoftenrequiresdimensionreduction.

Manyappearance-badmethodscanbeinterpretedastheprobabilityofthestructure.

Extractedfromtheimagefeaturevectorcanbeviewedasarandomvariablex,therandom

variablethroughtheclassconditionalprobabilitydensityfunctionp(x|face)andp(x|non

face)anclassifiercanbeudorthe

maximumlikelihoodfunctionofacandidatehumanfaceimagepositionclassificationor

unately,xofhighdimensiontomakeasimpleBayesianclassifierisnot

feasibletoachieve,becaup(x|face)andp(x|nonface)isamulti-peak,p(x|face)and

p(x|nonface)ore,the

appearance-badmethods,mostoftheworkinvolvedisdeterminedbytheexperienceof

usingnon-parametricmethodparametersorapproximatep(x|face)andp(x|nonface).

Inthisconnection,itisthemainfeatureoftheface(Eigenfaces)methodsandmethods

badondistribution(Distribution-badMethods)rwayisto

56

ytheimagepattern

projectedontoalowerdimensionspaceandthenformadiscriminantfunction

classification,ortheformationofneuralnetworksusingmultilayernonlineardecision

euralnetworksforfacedetectionhastheadvantageofasystemoftraining

togetpeoplefacethecomplexclassconditionaldensitymodelasfeasible;butthe

disadvantageistheneedtoadjustawiderangeofnetworkstructure(suchasthenumberof

layers,thenumberofnodes,learningspeed,etc.)forexceptionalperformance.

HiddenMarkovmodels(HiddenMarkovModel,HMM)wasthatpeopleudtoface

dinpatternrecognitionproblems,needtodeterminethenumberof

hiddenstatetoformapattern,then,thetrainingsamplestolearnfromthetraditionalHMM

stateprobabilitybetweentheirobrvationsofeachsamplewaxpresdasaquence.

ThepurpoofthetrainingHMMmodelbyadjustingparameterstomaximizethe

rainingHMMmodels,theoutput

ntyears,

propodthesupportvectormachine(SupportVectorMachines,SVMs)andotherkernel

ethodswillbeprojectedontoahigherdimensionmodelspace,

andthenintheprojectionofthehumanfaceandnonfaceadecisionbetweenthesurface

assifierisalinearclassifier,thechoiceofparatinghyperplanetothe

lhyperplaneisthe

combinationofweighttrainingthroughthesmallsubtofvectors(calledsupportvectors)

todefine,however,itscomputationtimeandmemoryisgreat.

6Discussion

Thisarticlewillfacedetectionmethodisdividedintofourmaincategories:

knowledge-badmethods,featureinvariantmethods,templatematchingand

therearesomemethodscanbeclassifiedintomore

thanonemethod,forexample,templatematchingmethodiscommonlyudmodelsand

childfacetemplateforfacefeatureextraction,andthenuthefeaturestolocateand

57

ore,inrecentyears，therehavebeenpropodbadonhybrid

approachbadonacombinationoftwoormore

speciesofthepreviouslymentionedmethods,andthenformamoreaccurateandrobust

eenpropod,suchascolorandmovementbadfusion

method,movement,color,shapeinformationfusion,colorgmentation,motiondetection,

ntheadvantagesofhybrid

approachistoachievetheintegrationofinformation,theadvantageofhybridmethodisa

waytomaketheshortcomingsoftheadvantagestobeanotherwayofcompensation.

Therefore,thehybridmethodwillbethefutureofrearchinthefieldoffacedetectionthe

tcomplexbackgroundimagefacedetectionmethodmorecorrectfor

-pofacedetection(especiallythesideofthefacedetection)

arestillverydifficult,chinthisareawillalsobeapriority.

58

人脸检测方法综述

摘要:人脸图像处理包括人脸检测、人脸识别、人脸跟踪、姿态估计和表情识别

等。为了构造自动处理人脸图像的信息系统,首先需要鲁棒、有效的人脸检测算法。分

析了有关人脸检测问题的研究方法,并对其进行了分类和评价。从基于知识的方法、特

征不变方法、模板匹配方法和基于外观的方法等四个方面介绍了相关的算法和理论,分

析了各种方法的优缺点,并提出了关于人脸检测问题的进一步研究方向。

关键词:人脸检测;人脸识别;基于视觉的识别;统计模式识别;机器学习

1引言

近年来,人脸和面部表情识别已经吸引了更多科研人员的注意。任何人脸处理系统

的第一步都是检测人脸在图像中的位置。然而,从一幅图像中检测人脸是一项极具挑战

性的任务,因为其尺度、位置、方向和位姿都是变化的,面部表情、遮挡和光照条件也

是变化的。

人脸检测是指在输入图像中确定所有人脸(如果存在)的位置、大小和位姿的过

程。人脸检测作为人脸信息处理中的一项关键技术,近年来已成为模式识别与计算机

视觉领域内一项受到普遍重视,研究十分活跃的课题。

人脸识别或辨认、人脸定位以及人脸追踪等都与人脸检测密切相关。人脸定位

的目的是确定图像中人脸的位置。假设一幅图像中只存在一张脸,则面部特征检测的

目的是检测特征的存在和位置,如眼睛、鼻子(鼻孔)(眉毛)(嘴)(嘴唇)耳朵等。

人脸识别或辨认是将输入图像与数据库中的图像比对,如果存在,报告匹配结果。人脸

识别的目的是检验输入图像中的个体的身份,而人脸追踪方法是实时地、连续地估计

在图像序列中的人脸的位置和可能的方向。面部表情识别涉及识别人类的情感状态

(高兴、悲伤、厌恶等)。很明显,在任何解决上述问题的自动识别系统中,人脸检测

是第一步。

从一幅图像中检测人脸的方法可以分为以下四种:

(1)基于知识的方法它将典型的人脸形成规则库对人脸进行编码。通常,通过面部特

征之间的关系进行人脸定位。

(2)特征不变方法该算法的目的是在姿态、视角或光照条件改变的情况下找到存

在的结构特征,然后使用这些特征确定人脸。

(3)模板匹配方法存储几种标准的人脸模式,用来分别描述整个人脸和面部特征;

计算输入图像和存储的模式间的相互关系并用于检测。

(4)基于外观的方法与模板匹配方法相反,从训练图像集中进行学习从而获得模型

(或模板),并将这些模型用于检测。

2基于知识的方法

基于知识的方法是基于规则的人脸检测方法,规则来源于研究者关于人脸的先验知

识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系,如在一幅图像中

出现的人脸,通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系

可以通过它们的相对距离和位置来描述。在输入图像中首先提取面部特征,确定基于编

码规则的人脸候选区域。

59

这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是详细的

(严格的),由于不能通过所有的规则检测可能失败;如果规则太概括(通用),可能会

有较高的错误接收率。此外,很难将这种方法扩展到在不同的位姿下检测人脸,因为列

举所有的情况是一项很困难的工作。

Yang和Huang使用分层的基于知识的人脸检测方法,他们的系统由三级规则组

成。在最高级,通过扫描输入图像的窗口和应用每个位置的规则集找到所有可能的人

脸候选区。较高级的规则通常描述人脸看起来像什么,而较低级的规则依赖于面部特

征的细节。多分辨率的分层图像通过平均和二次采样生成,如图1所示。编码规则通

常在较低的分辨率下确定人脸的候选区,包括人脸的中心部分(图2中较浅的阴影部

分),其中有四个基本上相同的灰度单元。

在人脸的上层周围部分具有相同的灰度。人脸的中心部分和上层周围的灰度不同。

最低分辨率的(Lever1)图像用于搜索人脸的候选区并在后面较精细的分辨率下作进

一步处理。在Lever2完成人脸候选区的局部直方图均衡化,并进行边缘检测。继续存

在的候选区在Lever3用其他的人脸特征,如眼睛、嘴等对应的规则进行检查。这种方法

的特点是用从粗—细的策略来减少所需要的计算,虽然它没有很高的检测率,但采用多

分辨率分层的思想和指导搜索的规则已经用到后面的人脸检测工作中。

Kotropoulos和Pitas提出了一种基于规则的定位方法。用投影方法确定面部特

征,I(x,y)是m×n图像中(x,y)位置的灰度值,图像的水平和垂直投影定义为

HI(x)=Σny=1I(x,y)和VI(y)=Σmx=1I(x,y)。通过在HI中的急

剧变化检测到两个局部最小点,它对应于头部的左右两边,获得输入图像的水平轮廓。类

似地,获得垂直的轮廓,局部最小点的确定用于定位嘴唇、鼻尖和眼睛。这些检测到的

特征组成了面部候选区。

李华胜等人提出通过区域增长从人脸图像中分割出人脸,再利用边缘检测、Hough

变换、模板匹配和方差投影技术可以快速有效地提取出人脸面部器官,如眼睛、鼻子和

60

嘴巴等特征。实验结果表明其所采用的方法具有较高的准确率(95.5%)和光照鲁棒

性。

姜军等人提出了一种基于知识的快速人脸检测方法。采用符合人脸生理结构特征

的人脸镶嵌图模型。在分析了足够多的人脸图像样本基础上,针对人脸图像的灰度和边

缘信息,建立了一种较为完备的知识库;为加快检测速度,采用了多级检测步骤。实验

结果表明,其方法具有较强的鲁棒性,能够很好地解决复杂背景下的多人脸检测问题。

卢春雨等人对镶嵌图方法进行了改进,按照人脸器官的分布将人脸划分为3×3

个马赛克块,在检测中自适应地调整各块的大小,使用一组基于各块灰度和梯度统计特

征的知识规则检验该区域是否为人脸,取得了较好的实验结果。

3基于特征的方法

基于特征的方法不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸

检测。与基于知识的方法相反,它是寻找人脸的不变特征用于人脸检测。人们已经提出

了许多先检测人脸面部特征,后推断人脸是否存在的方法。面部特征,如眉毛、眼睛、

鼻子、嘴和发际,一般利用边缘检测器提取,根据提取的特征,建立统计模型描述特征

之间的关系并确定存在的脸。基于特征的算法存在的问题是,由于光照、噪声和遮挡等

使图像特征被严重地破坏,人脸的特征边界被弱化,阴影可能引起很强的边缘,而这些边

缘可能使得算法难以使用。

Sirohey提出了从复杂的背景中分割人脸进行人脸识别的定位方法。它使用边缘

图和启发式算法来去除和组织边缘,而只保存一个边缘轮廓,然后用一个椭圆拟合头部

区域和背景间的边界。Graf等人提出定位灰度图像的面部特征和人脸的检测方法。在

滤波以后,用形态学的方法增强具有高亮度、含有某些形状(如眼睛)的区域。Leung

等人提出一种基于局部特征检测器和任意图匹配的概率方法,在复杂场景中定位人脸

其目标是找到确定的面部特征的排列。典型的人脸用五个特征(两只眼睛、两个鼻孔

和鼻子与嘴唇的连接处)来描述。Yow和Cipolla提出了一种基于特征的方法。在第一阶

段,应用了二阶微分Gaussian滤波器,在滤波器响应的局部最大点检测感兴趣的点,

指出人脸特征可能的位置;第二阶段,检查感兴趣点周围的边缘并将它们组成区域。这

种方法的优点是可以在不同的方向和位姿上检测人脸。Han等人提出了一种基于形态学

的技术进行眼部分割进而实现人脸检测的方法。他们认为眼睛和眼眉是人脸最突出和稳

定的特征,特别适合人脸检测。

彭进业等人提出了一种在图像的反对称双正交小波分解数据域中,实现多尺度对称

变换的方法,并将它应用于脸部图像中主要特征点的定位。王延江等人提出了一种快速

的彩色图像中复杂背景下人脸检测方法。其方法首先计算对彩色图像中与人的肤色相似

的像素进行聚类和区域分割,然后利用小波分解对每一个候选区域进行人脸特征分析,

如所检测到的区域特征分布与某一预先定义的人脸模型相似,则确认该区域代表人脸。

在人脸检测和手的跟踪等许多应用中,已经使用了人类的皮肤颜色作为特征。虽然

不同的人有不同的皮肤颜色,研究表明主要的不同在于它们的亮度而不是它们的色度。

标注皮肤像素的颜色空间包括RGB、规格化的RGB,HSV(或HIS),YcrCb,YIQ,YES,CIE

XYZ和CIELUV。人们已经提出了许多方法用于构建颜色模型。最简单的模型是使用Cr,

Cb值定义一个皮肤色调像素区域,也就是R(Cr,Cb),从皮肤颜色像素得到样本。仔

细选择阈值[Cr1,Cr2]和[Cb1,Cb2],如果像素值(Cr,Cb)满足Cr1≤Cr

≤Cr2,Cb1≤Cb≤Cb2,就被分类到皮肤色调中。

皮肤颜色通常不能独自进行人脸检测和追踪。近年来,人们已经提出几种使用形状

61

分析、颜色分割和运动信息结合的模块化系统在图像序列中用于定位和追踪头部和人脸

的方法。

4模板匹配

Sakai等人使用眼睛、鼻子、嘴和人脸轮廓等子模板建模,检测照片中的正面人脸。

每一个子模板按照线分割定义。基于最大梯度变化提取输入图像的线,然后与子模板匹

配。计算子图像和轮廓模板之间的相互关系去检测人脸的候选区域,完成用其他子模板

在候选区域的匹配。

Craw等人提出了一种基于正面人脸的形状模板(也就是人脸的外形)定位方法。

用Sobel滤波器提取边缘,将边缘组织在一起,根据几个约束条件去搜索人脸模板。在

头轮廓定位以后,用相同的过程以不同的尺度重复定位眼睛、眼眉和嘴唇等特征。

Govindaraju等人提出两个阶段的人脸检测方法。人脸模型根据边缘定义的特征构

成,这些特征描述了正面人脸的左边、发际和右边的曲线。人脸必须是垂直、无遮挡和

正面的。

Miao等人提出了用于人脸检测的层次模板匹配方法。在第一阶段,为了处理旋转图

像,输入图像从-20°～20°旋转,每次旋转5°。多分辨率图像层次形成和边缘提取使

用Laplacian操作符。人脸模板通过六个人脸成分产生的边缘组成:两个眼眉、两只眼

睛、一个鼻子和一张嘴。最后,应用启发式确定人脸的存在。实验结果表明在图像含有

单个人脸要比图像中含有多个人脸的结果好。

梁路宏等人使用了直接的平均脸模板匹配方法。其方法考虑到眼睛在人类辨识人

脸过程中的特殊作用,使用双眼模板首先进行粗筛选,然后使用不同长宽比的人脸模板

进行匹配,最后使用马赛克规则进行验证。

周激流等人提出了一种全新的人脸脸部轮廓提取算法,即运用先验模板及交替补偿

机制的方法提取脸部轮廓。实验证明,其提出的特征提取算法高效且鲁棒性能好。

5基于外观的方法

模板匹配中的模板是由专家预定义的,与模板匹配中的方法不同,基于外观方法中

的“模板”是从图像中的样本学习的。通常,基于外观的方法依靠统计分析和机器学习

技术找到相应的人脸和非人脸图像的特征。学习的特征由分布模型或判别函数形成,用

于人脸检测,同时,由于计算效率和检测有效性的原因通常需要降维。

许多基于外观的方法可以被理解为概率结构。从图像中提取的特征向量可以看作

是一个任意的变量x,此随机变量通过类条件概率密度函数p(x|face)和p(x|non

face)描述人脸和非人脸。可以用Bayesian分类器或最大似然函数将一个候选图像位

置分类为人脸或非人脸。不幸的是,x的高维度使简单实现Bayesian分类器是不可行的,

因为p(x|face)和p(x|nonface)是多峰的,p(x|face)和p(x|nonface)是

否存在自然参数化的形式还不清楚。因此,在基于外观的方法中,大多数工作涉及的

是由经验确定的参数或用非参数方法近似p(x|face)和p(x|nonface)。在这方

面人们主要研究了特征脸(Eigenfaces)方法和基于分布的方法(Distribution-bad

Methods)用于人脸检测。另一种方法是在人脸和非人脸之间找到判别函数。通常将图

像模式投影到较低的维数空间,然后形成判别函数进行分类,或者利用多层神经元网络

形成非线性的决策面。使用神经元网络进行人脸检测的优点是使训练一个系统来获得人

脸模式的复杂类条件密度成为可行;而缺点是必须大范围地调整网络结构(如层的个

数、节点的个数、学习速度等)以获得非凡的性能。

62

隐藏Markov模型(HiddenMarkovModel,HMM)也被人们用于人脸检测。在HMM用

于模式识别问题时,需要确定许多隐藏的状态形成一个模式,然后,训练HMM从样本中学

习传统状态间的概率,其每个样本被表示为观察序列。训练HMM的目的是通过HMM模型中

的参数调整最大化观察的训练数据的概率。训练HMM模型以后,观察的输出概率确定了其

所属的类别。近年来,人们又提出了支持向量机(SupportVectorMachines,SVMs)和

其他的核函数方法。这些方法将模式投影到较高维数空间,然后在投影的人脸和非人脸

模式之间形成一个决策面。SVMs分类器是线性分类器,所选择的分类超平面使未知测试

样本的分类错误最小。最优超平面是通过权值结合训练向量的小子集(称为支持向量)

来定义的,然而,其时间和内存的计算量是很大的。

6讨论

本文将人脸检测方法分为四个主要类别:基于知识的方法、特征不变方法、模板

匹配方法和基于外观的方法。实际上有一些方法也可以被分类到不止一种方法中,例

如,模板匹配方法通常使用人脸模型和子模板提取人脸特征,然后利用这些特征定位

和检测人脸。所以,近年来人们提出了基于混合方法的人脸检测方法。基于混合的方

法结合了两种或更多种前面提到的方法,进而形成更准确和鲁棒的人脸检测系统。如

人们已经提出了基于颜色和运动的融合方法,运动、颜色、形状信息融合方法,颜色

分割、运动检测、形状分析的融合方法等进行人脸检测。基于混合方法的优点是实现

了信息的融合,混合方法的优势是使一种方法的缺点被另一种方法的优点补偿。因此,

混合方法将是未来人脸检测研究领域的主要课题。目前复杂背景图像中的人脸检测方

法多针对正面端正的人脸。多姿态人脸的检测(特别是侧面人脸的检测)还存在很大

的困难,有效的方法还不多。这方面的研究也将是一个重点。