学文网摘要：随着计算机技术的进步，人工智能与模式识别技术得到很快的发展。人脸表情识别(FER)作为智能化人机交互技术中的一个重要组成部分，有着广泛的应用前景和潜在的市场价值，近年来得到了广泛的关注。本文介绍了人脸表情识别常的用方法，并对未来的人脸表情识别发展方向进行了展望。
关键词：人脸表情识别；特征提取；表情分类
引言
心理学家Mehrabian指出，在人们的日常交流中，通过语言来传递的信息占7%，通过声音来传递的信息占38%，而通过面部表情来传递的信息则达到55%。由此可见表情信息在人们交流中的重要性。人脸表情识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化和谐化极具科学意义,并将促进相关学科的发展。
20世纪70年代人们已经从心理学和生物学方面对表情识别进行了研究和分析。生物学家Darwin首先对人类和动物的面部表情进行了研究和比较，揭示了表情在不同性别、不同种族的人群中的一致性。1978年Ekman和Frisen提出面部表情编码系统(FACS)，用44个运动单元(AU)来描述人脸表情变化，并定义了6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤。这一系统得到了广泛的认同，并成为后来很多表情识别研究工作的基础。
随着计算机技术的发展，人脸表情识别技术也逐渐发展起来。20世纪90年代,人脸表情识别成为非常活跃的研究方向。国外较为著名的研究机构有麻省理工学院、卡内基梅隆大学、匹兹堡大学、马里兰大学等。国内的研究始于20世纪90年代末,近几年很多高校和研究机构开始对人脸表情识别进行研究。本文主要针对人脸表情识别的常用方法进行了总结，并对未来的发展方向进行了展望。
1、人脸表情识别系统概述
人脸表情识别系统主要包括三个部分：人脸检测与定位、特征提取及表情分类。如***1所示。建立一个FER系统，首先要通过外部器件如摄像头等获取***像，在***像中进行人脸检测，确定输入***像中是否有人脸，在有人脸的情况下确定人脸的位置和大小。这一环节的研究已成为一个***的方向；然后对人脸进行特征提取，得到反映表情特征的关键信息。最后对得到的表情特征向量进行分类，得到表情所属的类别，如AU组合或基本表情类别。
2、表情特征提取方法
表情特征提取是人脸表情系统中最重要的部分，有效的表情特征提取工作将使识别的准确率和性能大大提高。按照***像的类型可以分为两大类：基于静态***像的表情特征提取和基于动态***像序列的表情特征提取。其中典型的特征提取方法有：主成分分析法、活动外观模型法、Gabor小波变换法，光流法等。
主元分析法(PCA)又称K-L变换，是一个非常有效的降维的方法，特征脸(Eingen Face)方法在人脸识别领域成为举足轻重的一个分支。这种方法根据像素间的二阶相关性，将包含表情人脸的***像区域看作一个随机向量，采用K-L变换得到正交变换基，其中较大的特征值对应的基底（特征脸）就组成了表情特征空间的一组基，然后利用这组基底的线性组合就可以描述、表达人脸表情。Andrew、calder[2]等详细的介绍了PCA在面部表情识别方面的应用。主成份分析现已成功用于人脸识别和表情识别，但是由于主成份分析只考虑到***像数据当中的两阶统计信息，并未利用高阶统计信息。
活动外观模型AAM是目前广泛应用的基于混合特征的特征提取方法。AAM方法结合形状和纹理信息建立对人脸的参数化描述。Edward等人用活动外观模型(AAM)来解析人脸***像和***像序列。左坤隆[3]选取70幅***像作为AAM训练集，在每幅***像标记了57个特征点，实验得到的识别率为93.5%。
近来，基于Gabor小波[3]的方法被广泛应用于人脸表情识别，它能检测多尺度、多方向的纹理变化，同时受光照影响较小。Wen在一系列手工标定的局部小区域提取平均Gabor小波系数作为纹理特征，同时引入了在人脸合成中使用的基于比例***的方法来对纹理提取区域进行预处理，以降低不同人脸差异和光照引起的人脸反照度不均的影响。Jingfu Ye[4]等采用二维Gabor小波核函数提取表情特征,分别在不同的光照环境及不同测试者的条件下提取与表情有关的Gabor小波特征。实验表明Gabor小波变换能有效地提取与表情变化有关的特征,这种特征对光照变化不敏感,且能屏蔽个人特征差异的影响。
光流是运动特征提取法中的一种，所谓光流是指亮度模式引起的表观运动，理想的情况是这种表观运动反映了实际的运动。光流场在运动估计、运动分割等领域得到广泛的应用，也是表情特征提取的一种非常有效的算法。Mase等研究表明利用光流进行运动估计，并使用面部肌肉运动模型描述了面部的运动。Cohn等提出了一种基于光流的方法，对眉毛、眼睛、嘴唇等区域的运动单元进行分辩，提出了面部的局部参数运动模型，同时构建了面部运动的中级描述，并使用启发式规则对6种表情进行了分类。光流法的缺点是受光照不匀和脸部非刚体运动等因素影响特征提取结果，且计算量较大，不适合实时处理。
3、表情分类方法
表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别。目前用于表情分类的方法主要有人工神经网络、支持向量机和AdaBoost算法等成为主流的表情分类方法。
人工神经网络（ANN）是一种模拟人脑神经元细胞的网络结构，它是由大量简单的基本元件―神经元，相互连接成的自适应非线性动态系统。在静态***像的人脸表情识别中有很多运用。Gueorguieva使用多层感知的神经网络来进行表情识别，训练并测试了4种网络，得出S形函数和径向基函数的神经单元混合能较好地适合于前馈神经网络的结论。神经网络方法的缺点在于，需要大量的训练样本和训练时间，很难满足实时处理要求。
支持向量机（SVM）是在统计学习理论的基础上发展起来的一种分类方法，在解决小样本、非线性和高维问题上有很多优势。目前支持向量机是机器学习中应用最多的分类器之一，近年来也被应用于表情识别中。SVM算法结构简单，具有全局最优性和较好的泛化能力等优点，但其计算复杂度较高，需要大样本统计学习。
AdaBoost算法方法将多个弱分类器结合起来训练形成强分类器，不同分类器针对不同的特征，通过训练可以达到特征选择的目的，在模式识别领域如***像检索和人脸检测中都有成功的应用。Bartlett使用AdaBoost选择特征与SVM分类相结合的AdaSVM方法进行分类，取得较好的识别结果。
4、未来研究重点
人脸表情识别是一个具有挑战性的课题，尽管已经取得了很大进展，但目前仍处于研究
探索阶段，依然存在很多问题亟待解决：（1）特征提取和表情分类的方法有待改进，计算机要达到实时、自动的识别表情变化，必须在保证识别率的前提下尽可能提高识别效率；（2）某些表情易于识别，而某些表情不易识别，且多数研究仍停留在基本表情识别的研究上，但基本表情不涵盖人类的主要表情，因此需要识别更多的表情（如细微表情、混合表情、非基本表情）（3）目前的研究多是在特定条件下进行的识别，表情识别可能会因为发型、光线变化等外在条件变的困难，因此提高表情识别的鲁棒性也是当前要解决的问题。
参考文献：
1.Andrew J，Calder A, Burton M，etal，A Principal Component Analysis Of Facial Expression[J].Vision Research，2001，41(9):1179一1208.
2.左坤隆，刘文耀.基于活动外观模型的人脸表情分析与识别[J].光电子.激光，2004，15(7):853-857.
3.朱健翔，苏光大，李迎春．结合Gabor特征与Adaboost的人脸表情识别[J]．光电子・激光，2006，17(8)：993―998．
4.叶敬福，詹永照．基于Gabor小波变换的人脸表情特征提取[J]．计算机工程．2005，31(15)：172―174．
注：本文中所涉及到的***表、注解、公式等内容请以PDF格式阅读原文
转载请注明出处学文网 » 人脸表情识别方法研究进展