微表情的表达特点与自动识别研究

PSYCH OpenIR > 认知与发展心理学研究室

	微表情的表达特点与自动识别研究
其他题名	Micro-expression: the Characteristics and Automatic Recognition
	颜文靖
	2014-05
摘要	微表情指人们在试图隐藏自己的情绪时所泄露的快速表情。微表情是研究人类情绪表达的新视角，并有可能被广泛地应用于安全、司法、临床等领域。目前的微表情研究存在以下三个问题：第一，微表情表达的许多特点并不明确，且微表情表达的研究缺乏有效的分析工具。第二，目前缺乏自然诱发的微表情数据库，心理学与计算机研究缺少具有生态效度的材料。第三，微表情自动识别研究缺乏心理学的指导，识别效果较差。针对以上三个问题，本研究将微表情表达与微表情自动识别紧密结合。第一，通过情绪视频诱发快速泄露的表情，拟合其时长的分布曲线并分析其特点，发现微表情总时长上限约为500毫秒，启动时长上限约为260毫秒；微表情的形态以局部运动为主，且幅度较普通表情小；微表情的情绪意义相对模糊，与典型表情的分类可能不同。这一工作描述了微表情的基本特点，且为微表情的界定提供证据。为提高微表情分析的深度与效率，我们应用约束局部模型（CLM）、局部二值模式（LBP）分析量化微表情运动的距离、速度、角度和纹理特征。通过比较计算机两种方法和人工对50个微表情样本峰值帧的编码，发现三种条件无差异。这一工作为分析量化微表情提供工具并为微表情自动识别的算法选择提供借鉴。第二，我们基于采集的195个微表情样本建立数据库CASME；在CASME的基础上，我们提高了帧率、分辨率及改进光照，构建了包含256个微表情样本的数据库CASMEⅡ，为微表情自动识别的研究提供更多的训练样本。第三，基于微表情表达特点的研究、两个微表情数据库的建立和合适的特征提取方法的选择，我们使用LBP-TOP进行微表情自动识别并在此基础上利用鲁棒主成分分析（RPCA）与局部时空方向特征（LSTD）提升微表情自动识别的效果。本研究中，微表情的表达特点研究与微表情的自动识别研究相互促进，初步解决微表情领域中的几个重要问题，为微表情的进一步研究奠定基础。
其他摘要	Micro-expression is a leaked fast facial expression which may present when people try to conceal their genuine emotions. Micro-expression provide a new perspective to understand human being’s emotion since it reveals individuals true intent. Therefore, micro-expression may be used as a cue in the fields of security, clinic and police interrogation. However, there are three problems remains to be resolved. First, the characteristics of micro-expression is not clear, such as the duration and the action pattern. Second, there is no efficient and effective analysis tool that can quantify micro-expression in details. Third, without fine understandings of the characteristics of micro-expression and without a spontaneous micro-expression database, training computer to automatically recognize micro-expression is difficult. With these three problems, this study conductedan inter-disciplinary research between psychology and computer science. First, weeliciteda certain quantity of fast leaked facial expressions and fit a curve to the distribution. We found the upper limit duration of micro-expression is around 500 ms, while the upper limit onset duration is around 260 ms. Micro-expression usually have partial action and the intensity is relatively low.In addition, the classification of micro-expression seems different from the ordinary facial expressions.This work describe the basic characteristics of micro-expression and provide evidence for defining it.To further quantify the micro-expressions and enhance theefficiency,we appliedConstrained Local Model(CLM) and Local Binary Pattern(LBP) to analyzing micro-expression, including the moving distance, velocity, angle and texture change. There was no difference between these two methods with manual coding in spotting the apex frames from 50 micro-expression samples. This work helpsto analysis micro-expression at a deeper level and tested the effectiveness of the feature extraction method. Second, we build a spontaneous micro-expression database CASME which contains 195 samples. Further, CASMEⅡwasbuild which contains 256 spontaneous micro-expressions, which improved frame rate, resolution and illumination. Third, based on the psychological study, the micro-expression database and the appropriate feature extraction methods selected, we usedLBP-TOP to recognize micro-expression. Further, we used Robust Principle Component Analysis (RPCA) to remove the redundancy and then used Local Spatio-temporal Directional(LSTD) to recognize micro-expression.
学科领域	基础心理学
关键词	微表情表达微表情识别数据库特征提取
学位类型	博士
语种	中文
学位专业	心理学
学位授予单位	中国科学院研究生院
学位授予地点	北京
文献类型	学位论文
条目标识符	http://ir.psych.ac.cn/handle/311026/19742
专题	认知与发展心理学研究室
作者单位	中国科学院心理研究所
推荐引用方式 GB/T 7714	颜文靖. 微表情的表达特点与自动识别研究[D]. 北京. 中国科学院研究生院,2014.

条目包含的文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
颜文靖-博士x学位论文.pdf（3963KB）	学位论文		限制开放	CC BY-NC-SA	请求全文