基于多模板匹配的复杂背景图象中的人脸检测‘梁路宏清华大学计算机科学与技术系艾海舟张钱智能技术与系统国家重点实验室，北京１０００８４Ｌｉａｎｇ＿Ｉｈ＠２６３．ｎｅｔ ａｈｚ＠ｍａｉｌ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎ摘要本文提出了一种基于多模板匹配的复杂背景图象中的人脸检测方法。该方法简单、直观，在基于内容检索等方面具有潜在的应用价值。实验表明，该方法对于具有复杂背景的单人脸和多人脸图象的检测正确串较高。关谧词棋板匹配人脸检测人脸识别基于内容的检索 Ｍｕｌｔｉ－Ｔｅｍｐｌａｔｅ－Ｍａｔｃｈｉｎｇ－Ｂａｓｅｄ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｉｎＣｏｍｐｌ ｅｘ Ｂａｃｋｇｒｏｕｎｄ ＩｍａｇｅＬｕｈｏｎｇ Ｌｉａｎｇ， Ｈａｉｚｈｏｕ Ａｉ ａｎｄ Ｂｏ ＺｈａｎｇＳｔ ａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ ｎｄ ａＳｙｓｔｅｍＤｅ ｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ｎｄ ａＴｅｃｈｎｏｌｏｇｙ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｙｔ， Ｂｅｉｊｉｎｇ １０００８４Ｌｉ ｎｇ ａＩｈ＠２６３．ｎｅｔ ａｈｚ＠ｍａｉｌ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎＡｂｓｔｒａｃｔ Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｍｕｌｔｉ－ｔｅｍｐｌａｔｅ－ｍａｔｃｈｉｎｇ－ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄ ｉｍａｇｅ． Ｔｈｉｓ ｍｅｔｈｏｄ ｉｓ ｓｉ帅ｌｅ， ｉｎｔｕｉｔｉｏｎｉｓｔｉｃ， ｎｄ ａｈａｓ ｐｏｔｅｎｔｉａｌ ａｐｐｌｉｃａｔｉｏｎ ｖａｌｕｅ ｉｎ ｔｈｅ ａｒｅａ ｏｆｃｏｎｔｅｎｔ－ｂａｓｅｄ ｒｅｔｒｉｅｖａｌ． Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｉｔ ｉｓ ｒａｔｈｅｒ ｓｕｃｃｅｓｓｆｕｌ ｉｎ ｓｉｎｇｌｅ－ｆａｃｅ ｎａｄ ｍｕｌｔｉ－ｆａｃｅ ｉｍａｇｅｓｗｉｔｈ ｃｏｍｐｌｅｘ ｂａｃｋｇｒｏｕｎｄ．Ｋｅｙｗｏｒｄｓ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ， Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｃｏｎｔｅｎｔ－Ｂａｓｅｄ Ｒｅｔｒｉｅｖａｌ１引言 人脸检测是指在输入图象中确定所有人脸（如果存在）的位置、尺度和位姿。人脸是一类自然形体，它具有比较复杂而细致的模式变化，因此人脸的检测是一个极富挑战性的模式分类问题。如果能构造出成功的人脸检测系统，将能为解决其它类似的复杂模式的检本文受到国家教委菇金资助一５７５测问题提供有益的启示。人脸的检；Ｎ不仅具有十分重要的学术意义，而且在视觉监测、个人身份验证、基于内容的检索等领域有着广泛的应用前景。本文在简单综述了人脸检测的研究现状后，阐述了我们研究人脸检测问题的基本思 路，即以人脸检测在基于内容检索方面的应用为背景，采用相对简单的方法解决复杂背景图象中正面端正人脸的检测问题。我们提出了一种基于多模板匹配的人脸检测方法，该方法简单、直观，对不同类型的图象有较强的适应能力。此方法在５５幅单人半身图象中检测人脸的成功率为８１．８，在６４幅多人合影图象（共有１１６２个人脸）中的检测正确率也达到了７５％０２人脸检铡的研究现状目前，国外对人脸检测问题的研究很多，比较著名的有ＭＩ Ｔ， ＣＭＵ等大学以及ＮＡＳＡ的实时人脸检测项目（Ｒｅａｌ－ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｐｒｏｊｅｃｔ）。国内据我们了解，清华大学、中国科技大学、哈尔滨工业大学等都有人员从事人脸检测相关的研究。人脸检测所包含的内容十分广泛，我们仅讨论图象中正面人脸的检测问题，大多数人 脸检测的研究和应用都属于这类问题。我们按照人脸图象的复杂程度将人脸检测问题划分为两类：简单背景图象中的人脸检测和复杂背景图象中的人脸检测。这两类问题在解决方法和应用背景等方面都有很大的不同。 背景简单是指没有背景或背景的特征被严格约束。此时可以只利用人脸的轮廓、颜色、运动等少量特征进行快速检测。简单背景图象中的人脸检测一般以个人身份验证为应用背景，要求一定的实时性。目前主要有基于差分图象的方法［１１１，基于运动检测的方法［２１和基于颜色信息的方法［３］三种。这些方法只利用了人脸的个别特征，因而对不同类型背景的适应性较差。但这类方法具有简单、实时等优点，有很强的实用性。目前已有采用这类方法的人脸检测系统原型出现。复杂背景图象中一般存在某方面（如灰度、轮廓等）类似人脸或人头部的背景区域。 这种条件下的人脸检测需要使用统计方法或启发式知识对人脸建模，通过比较所有可能的待检测区域与人脸模型的匹配程度，得到可能是人脸的区域。根据建立人脸模型方法约不同，目前的方法可以分为以下三类：（１）基于统计模型的方法。这种方法将人脸的检测问题看作“人脸”与“非人脸”两种模式的分类问题。具有代表性的是ＭＩＴ的Ｓｕｎｇ １４３的方法，他使用了四千余个人脸样本和六千余个非人脸样本建立了人脸的特征分布模型，训练了一个人工神经网作为分类器进行检测。该方法对２３幅１４９个人脸的复杂背景图象的检测正确率接近８０％，属于这类方法的还有ＣＭＵ的ＳｃｈｎｅｉｄｅｒｍａｎＩ５１提出的基于离散非参数概率分布模型的方法，该方法取得了更好的实验结果。（２）基于人工神经网（ＡＮＮ）的方法。这种方法本质上也是一种基于统计模型的方法，但它是通过训练人工神经网的方法建立人脸模型。ＣＭＵ的Ｒｏｗｌｅｙ１６Ｊ使用自举（ ｂｏｏｔｓｔｒａｐ）方法得到了一万五千余个人脸样本和八千个非人脸样本，用这些样本训练了多个ＡＮＮ用以检测人脸。该系统对１３０幅包含了５０７个正面人脸的复杂背景图象进行了５７６，哦ｊ检测，正确率达到４０．５％．（ ３）基于灰度几何特征的方法。这种方法是利用人脸和脸部器官在几何形状和灰度分布上的特征，建立启发式的规则，搜索输入图象上所有满足这些规则的区域。基于灰度特征的方法有镶嵌图（Ｍｏｓａｉｃ Ｉｍａｇｅ）方法（７１等；摹于几何特征的有可变形模板（ＤｅｆｏｒｍａｂｌｅＴｅｍｐｌａｔｅ） ＩＨ〕方法等复余背景图象中的人脸检测主要以基于内容检索为应用背景。由于问题本身的复杂 性，这方面的研究与实际应用还有一定的距离，但它的学术意义是显而易见的。我们所关注的是以基于内容的检索为背景的人脸检测。这种情况下，输入的人脸图象 在质量、背景、光照类型等方面变化很大，要求检测系统有很强的适应能力。从这个意义上讲，Ｈ前［４］［５］［６」的研究处于领先地位但我们也看到，他们的方法非常复杂，需要几千乃至上万个训练样本进行人脸的建模。我们希望在对问题进行合理约束的前提下．使用一种相对简单的方法达到与之接近的效果。为此我们提出了一种基于多模板匹配的人脸检测方法，这种方法简单、直观，实验表明该方法对包含单个到上百个人脸的不同类型的复杂背景图象都是有效的。３基于多模板匹配的人脸检测我们所研究的是复杂背景图象中无遮挡的正面、端正人脸的检测问题。所谓正面、端 正是指人的双眼在图象中均可见而且应大致在同一水平线上。我们对问题还进行了如下约柬：（１）己知图象中人脸的个数；（２）已知图象中人脸的大致尺度：（３）已知图象的大致质量（即已知图象中人脸区域的大致灰度范围和均方差范围）。对于基于内容检索这一应用背景，以上约束是可以接受的。我们检测人脸的方法是基于模板匹配的，用到了两种模板：双眼模板和不同长宽比的 人脸模板。在检测时首先使用双眼模板进行粗筛选，然后使用不同长宽比的人脸模板确定出人脸区域的位置和范围。我们使用了一种局部最优点的搜索方法解决多人脸的检测问题；同时采用了按照固定比率逐步缩小输入图象的方法解决多尺度检测问题。３．１模板的生成 我们在人脸检测中使用的模板都是对多个样本取平均构造出来的。如图１所示，首先在选取的４０个样本图象上手工划出人脸的区域作为人脸样本。对这些样本进行尺度和灰度分布标准化后，将所有样本取灰度平均并压缩到需要的尺度作为原始模板。拷贝原始模板的眼睛部分，进行灰度分布标准化后作为双眼模板：对原始模板分别按照１：０．９， １：１．１：１．１． １：１．２和１：１．３的宽长比变形，进行灰度分布标准化后作为人脸模板。５７７．．．月，口．．刀．口．．Ｊ，一一砚１性侄愧召Ｔ呀甲的甲．救图１模板生成的过程 ３．２匹配方法我们将输入图象区域与人脸模板之间的相关系数和平均偏差综合起来度量它们的匹配 程度。假设人脸模板的灰度矩阵为７１ＭＪ［Ｍ，灰度均值为脚，均方差为ａＴ，输入图象区域的灰度矩阵为Ｒ［ＶＩＮＪ，灰度均值为Ａ，均方差为ＱＲ＇那么它们之间的相关系数ｒ（Ｔ，Ｎ）为：艺艺（－０ ｊ．０＿Ｔ ［Ｊ＿＿ｊ［ ｉＩ一ＮＴ）＿＿＿＿＿（Ｒ［ｔｌ＿［ ｉ）一ｐ Ｒ）ｒ（Ｔ，Ｍ）二Ｍ ・Ｎ・６ＴａＲ图象区域与模板间对应象素灰度值的平均偏差为：ｄ （Ｔ， Ｍ）＝叹Ｔ， Ｎ）和ｄ（Ｔ， Ｎ）从两个不同的角度表征了输入图象区域与模板的匹配程度。我们用一种综合的方法评价它们的匹配程度：Ｄ（Ｔ， Ｎ）＝ｒ（Ｔ， Ｎ） ＋ａ ｌ＋ｄ（Ｔ，Ｎ）其中ａ为权重系数。显然，Ｄ（Ｔ， Ｎ）越大表示图象区域与模板的匹配程度越好。为了排除一些可能的检测错误，我们还使用了人脸器官的边缘特征来确认匹配的结 果。３．３搜索方法算法的基本思路是：穷举搜索输入图象中所有可能为人脸的区域，将满足灰度和均方 差条件且与模板匹配程度达到闷值的区域作为候选人脸，最后按照已知的人脸个数将按匹配程度排列的前若干个人脸作为输出。为了适应人脸的不同尺度，我们对输入图象在己知一５７９一ｌｗｅ‘Ｊ５总结我们以基于内容的检索为背景，对复杂背景图象中的人脸检测问题进行了适当约束， 提出了一种荃于多模板匹配的人脸检测方法。这种方法具有简单、直观的特点，通过对在不同条件下获取的不同人脸数、不同类型背景的图象的检测实验，证明该方法具有较高的检侧正确率。我们的算法也存在一些缺陷，主要是由于人脸图象（模板）本身不能直接反映人脸的本质特征，造成的由模板代表的人脸模式的紧致性并不好，因此实验中仍存在很多明显的错检和漏检情况。我们认为，单纯的模板匹配方法仍有很大的局限性，要进一步提高检测的准确率和鲁棒性，还需要将模板匹配与其它方法结合起来进行综合判别。我们将按照这个思路进行更深一步的研究。参考文献 ［Ｉ］艾海舟，王栓，何克忠．荃于差分图象的人脸检测．中国图象图形学报，３（１２）， ９８７－９９２， １９９８．１２［２１卢春雨．人脸自动识别若千问脱研究与系统实现．清华大学自动化系博士论文，１９９８［３１刘明宝，姚鸿勋，高文彩色图象的实时人脸跟踪方法．计算机学报，２１（６）： ５２７－５３２， １９９８．６砰］Ｋ Ｓｕｎｇ， Ｔ Ｐｏｇｇｉｏ． Ｅｘａｍｐｌｅ－Ｂａｓｅｄ Ｌｅａｎｒｉｎｇ ｆｏｒ Ｖｉｅｗ－Ｂａｓｅｄ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． ＯｎＰａｔ ｔｅｒｎＡｎａｌ ｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０（ｌ）： ３９－５１， Ｊａｎｕａｒｙ １９９８［５） Ｈ Ｓｃｈｎｅｉｄｅｒｍａｎ， Ｔ Ｋａｎａｄｅ． Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｉｎｇ ｏｆ Ｌｏｃａｌ Ａｐｐｅａｒａｎｃｅ ａｎｄ Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎｓｈｉｐｓ ｆｏｒＯｂ ｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ． ＣＶＰＲ＇９８： ４５－５１， Ｊｕｎｅ １９９８［６１ ＨＡ Ｒｏｗｌｅｙ， Ｓ Ｂａｌｕｊａ， Ｔ Ｋａｎａｄｅ． Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－Ｂａｓｅｄ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓａ ｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０（ｌ）： ２３－３８， Ｊａｎｕａｒｙ １９９８［７］ Ｇ ＺＹａ ｎｇ， Ｔ ＳＨｕａｎｇ． Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ ａ Ｃｏｍｐｌｅｘ Ｂａｃｋｇｒｏｕｎｄ． Ｐａｔｔｅｎｒ Ｒｅｃｏｇｎｉｔｉｏｎ， ２７（１）： ５３－６３，Ｊ ａｎｎａｙｒ １９９４侈］Ｒ Ｃｈｅｌｌａｐｐａ， Ｃ Ｌ Ｗｉｌｓｏｎ， Ｓ Ｓｉｒｃｈｅｙ． Ｈｕｍａｎ ａｎｄ Ｍａｃｈｉｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｆａｃｅｓ： Ａ Ｓｕｒｖｅｙ． Ｐｒｏｃｅｅｄｉｎｇ ｏｆｔ ｈｅ ＩＥＥＥ， ８３（５）： ７０５＝７４０， Ｍａｙ １９９５５８０
