计算机对从传感器采集来的信号进行分析和处理，从而得出对方（人）正处在的情感状态，这种行为叫做情感识别。从生理心理学的观点来看，情绪是有机体的一种复合状态，既涉及体验又涉及生理反应，还包含行为，其组成分至少包括情绪体验、情绪表现和情绪生理三种因素。目前对于情感识别有两种方式，一种是检测生理信号如呼吸、心律和体温等，另一种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。

 

“情感识别”，并不是说计算机能直接识别或测量情感状态，应该解释为“通过观察表情、行为和情感产生的前提环境来推断情感状态”。因为情感状态是内在的并包含生理和心理的变化，这样只能获得情感状态的一些可观测的东西，如表情、行为等等。假设这些东西的观测可靠的话，那么潜在的情感状态就可以推断出来。只有将情感识别看作一种模式识别问题、情感表达看作模式合成问题，计算机进行情感交流才具有可行性。

 

情感计算的发展

 

情感计算研究的提出最早可以追溯到20世纪90年代初，耶鲁大学心理系的Salovey教授提出了情感智能的概念，开展了一系列的研究。该概念随后被Goleman发展为与智商(IQ)相对的情商(EQ)，并随着Goleman的畅销书而迅速流行，在心理、认知、计算机等领域掀起了一个研究情感智能的小高潮。MIT的Picard教授根据这些新的概念和研究方向，于1997年出版了《情感计算》一书，希望赋予智能机器感知、理解和表达情感的能力。

 

进入新世纪以后，特别是近年来，随着普适计算、人本计算、社会计算等概念和研究方向的提出，自然的人机交互日益成为各研究领域的研究内容和目标，情感计算也自然地成为各学科共同关注的热点、焦点。中国国家自然科学基金委也不失时机地支持了“情感计算理论与方法”的研究。

 

情感计算从本质上，是一个典型的模式识别问题。智能机器通过多种传感器，获取人的表情、姿态、手势、语音、语调、血压、心率等各种数据，结合当时的环境、语境、情境等上下文信息，识别和理解人的情感。在实际的自然交互系统中，智能机器还需要对上述信息作出及时的、恰当的、情感化的反应。情感之间距离的定义和计算方法是情感计算的核心问题，例如需要定义和计算“微笑、笑、大笑、狂笑”之间的距离，以便把它们分别聚类，从而使系统能够识别出不同程度的笑。遗憾的是，目前情感计算的研究还只能对情感进行粗分类，即识别7种典型的情感。

 

目前，我国在情感计算这一领域的研究主要在人脸识别。这一方面是因为人脸表情容易获取，易于分析处理，其成果具有重要的应用前景等；另一方面，也反映了情感计算研究的一个普遍的问题，即尽管人类是通过表情、语言、动作等各种信息的融合，识别和理解情感，但是，当前多模态情感数据获取、分析、融合、识别和理解，以及情景等上下文信息的融合依然是情感计算研究中富有挑战性的课题。实现具有情感反馈的自然的人机交互是情感计算研究的最终目标，这需要在上述情感理解的基础上，研究人类情感反馈和表达的机制，建立模型。

 

目前国内的研究成果已有基于已有的情绪模型，提出了虚拟人的认知结构，建立了一种新的基于动机驱动的自主情绪模型。清华大学戴振龙的论文则介绍了一种人脸表情的合成方法，能够生成具有细微表情动作的虚拟说话人。可以看出，这方面的研究在国际上依然是自然交互领域的一个新兴的方向，面临着许多挑战性的问题，具有广阔的发展前景。

 

 

情感计算指的是对与情绪相关、由情绪引发、能够影响情绪的各种因素的计算 ，情感计算研究的目的就是要建立起能感知、识别以及理解人类情感，并对人类情感进行智能、灵敏以及友好反应的计算机系统。情感计算研究主要包括了三个方面的内容 ：情感识别、情感发生 、情感表达 。

 

1、情感发生机理的研究。 

 

人类情感的发生、发展是一个复杂、多变的过程 ，例如不仅人的情绪变化会导致情感的变化 ，人体的化学反应也会引发情感的波动。 并且，人的身体、行为上也会随着情感强度、类型、诱发过程甚至社交规则的不同而表现各异 ，这给情感计算带来 了一定的困难。

 

2、情感信息的获取以及情感状态和表达模式之间的关系研究。 

 

人类情感信息表现在内、外两个层面 。 获取外在情感信息，例如声音 、手势 、面部表情等可以通过多媒体技术来获取 ，对于内在情感信息，例如心跳、脉搏、呼吸、体温等则需要使用特殊的生理传感器获取。 情感状态和表达模式之间的关系是情感识别研究的基本内容 ，其关键在于寻找表达信号和情感特征的最佳匹配关系。

 

3、情感模型的建立和理解研究 。 

 

情感计算一般分为离散状态、情感空间、基于规则三种计算模型。 目前，情感建模研究取得了初步进展 ，取得了一些代表性的研究成果 ，例如通过总结和归纳、分析环境中发生的各种事件以及相互之间可能引发的各种情感的对应关系的OCC 情感识别模型、通过建立与人相似的应对策略机制指引智能体做出与人情感状态一致的行为反应的 EMA 模型等等。 情感建模的目的是要寻找最能适合计算机模拟人类的认知情感，并且使之可供计算机执行，提升人机交互的水平。

 

4、情感的合成和表达。 

 

个性化的计算机程序(低层次的情感计算技术) 虽然能够识别计算机用户的兴趣 、爱好和偏爱 ，但它并不能识别计算机使用者的情感 ，对使用者情感没有共 鸣、互动 的能力，通过情感的合成和表达(例如 OCC 模型)可以对事件 、对象以及智能体等进行综合分析和表达。

 

5、情感计算的应用研究。 

 

计算机的情感计算能力进一步推动了计算机技术的发展，通过和人机接口技术 、人工智能推理、计算机视觉和听觉等计算机前沿研究技术结合 ，应用领域不断拓展。 

 

一是通过情感计算建立起的“情感镜像 ”，可以帮助“人”了解自己在各种情况下的反应 ，而且更具客观性；

 

二是在文本一语音相互转换中发挥重要作用。 例如通过情感计算对输入的计算机文本进行语音转换并在转换的过程中表达使用者的情感 ，实现了语言障碍者在网络社会中进行自然 、和谐的交流梦想 ，他们也可以“发出”体现自己情感的语言；

 

三是拥有情感计算能力的计算机可以对人类情感进行有效的获取 、分析 、识别并作出相应 的反应 ，这些反应切合使用者情感 ，成为人机交互的关键突破；

 

四是在其他领域的应用，例如情感计算可以推动心理学从感性认知上升到可计算模型、排减特殊患者的不良情绪进行更好的康复 、利用语音识别技术提升计算机测谎能力等等。

 

 

情感识别指的是通过观察表情 、行为和情感产生的具体 环境来 推断内在情感 状态 的一种模式识别 。 情感计算通过计算针对不同类型 、个体取得的个性化测量数据 ，在测量数据的基础上进行共性化研究从而发现情感识别的通用模式 。 

 

现阶段进行的情感识别研究主要集中在面部表情 、语音情感以及生理信号情感研究。

 

1、面部表情的情感识别

 

由于面部表情是最容易控制的一种 ，而且受先天生理影响 ，单纯的面部表情识别准确性并不高 ，但是相对的识别模型比较简单 。 例如 Paul Ekman 等提出的面部动作编码系统(FACS) ，描述了基本情感以及对应的产生的肌肉运动的动作单元， 依据FACS系统制造的面部识别器，仿真测试准确率可以达到 98％以上。 但 面部识别器的处理效率较低 ，一种表情处理时间需要将近 5min ，对于处理连续表情还存在一定困难。

 

面部表情的情感识别受到多方面因素的影响，现阶段对人脸分析及识别的技术方法主要分为两大类 ：一是基于静态图像 (单一图像) 的方法 ，一是基于动态图像序列的方法。 前者分析的数据较少，对单帧图像分析比较成功，适合实时表情的识别；后者将面部表情变化的时间和空间信息结合起来，识别率较高，但计算量也较大。

 

2、 语音情感的识别研究

 

由于语音情感的不可视，语音情感识别要比面部表情识别困难得多。 人的语音信号包含了多方面的信息 ，必须要寻找情感和语音模式之间的对应关系 ，而且这些对应特征计算机还是可 以提取的。 情感对语音的影响主要体现在两个方面 ，一是语速的频率和时间，一是语言的音量 和清晰度。 通过利用声学和语 言学来描述说话方式的计算机应用程序— — “情感编辑器”，除了在输入情感参数之外还进行了语法语义的分析 ，对语音频率和音量进行控制 ，对语音形成较好的情感识别和合成效果。

 

语音情感特征的分析需要大量的语音实验分析资料 ，语音情感自动识别技术就是建立在对语音信号产生机制的深入研究和分析基础上的，现阶段 ，语音情感自动识别技术还需要迫切解决两个根本性的问题：一是语音信号中情感识别特征的抽取；二是特定语音数据的模式识别 。

 

3、生理模式的情感识别

 

不同的生理信号的特征模式也是情感识别的重要依据之一 。 人的生理信号比起面部表情和语音 ，识别难度更大，所以目前生理模式的情感识别研究还处于初级阶段 ，哪些信号可以转化为情感参数 、信号各个方面的权重、比例应该是多少 ，这些都还需要进行进一步的研究和探索。

 

情感计算为人机交互提供了重要的渠道和有力的模型支撑 ，虽然基于各种原理的情感模型还无法准确、清晰地对人的情感进行完全模拟 ，但随着情感计算数据库的不断完善和对观察数据的不断分析 ，情感建模和情感识别技术必将取得进一步的发展 。