北卡罗来纳大学教堂山分校(University of North Carolina at Chapel Hill)和马里兰大学帕克分校(University of Maryland at College Park)的一组研究人员最近开发了一种新的深度学习模型，可以根据人们的走路姿势识别他们的情绪。他们在arXiv上预先发表的一篇论文中概述了他们的方法，通过从RGB视频中提取一个人走路的步态，然后进行分析，并将其归类为四种情绪之一:高兴、悲伤、愤怒或中性。

“情感在我们的生活中扮演着重要的角色，它定义了我们的经历，塑造了我们看待世界和与他人互动的方式，”北卡罗来纳大学的主要研究人员之一、研究生坦梅·兰德尔哈瓦内(Tanmay Randhavane)告诉TechXplore。“感知他人的情绪有助于我们理解他们的行为，并决定我们对他们的行动。例如，人们与他们认为愤怒和有敌意的人交流，与与他们认为平静和满足的人交流，是非常不同的。”

大多数现有的情绪识别和识别工具都是通过分析面部表情或声音记录来工作的。然而，过去的研究表明，肢体语言(如姿势、动作等)也能很好地表达一个人的感受。受到这些观察结果的启发，研究人员着手开发一种工具，能够根据个人的行走方式自动识别他们感知到的情绪。

Randhavane说:“我们感知情绪识别方法的主要优点是它结合了两种不同的技术。”“除了使用深度学习，我们的方法还利用了心理学研究的发现。这两种技术的结合使我们比其他方法有优势。”

该方法首先从一段RGB视频中提取一个人走路的步态，将其表现为一系列的3d姿势。随后，研究人员使用长短时记忆(LSTM)递归神经网络和随机森林(RF)分类器来分析这些姿势，并识别视频中人们感受到的最明显的情绪，在快乐、悲伤、愤怒或中性之间进行选择。

LSTM最初是针对一系列深层特征进行训练的，但这些深层特征后来与利用姿势和动作线索计算出的情感特征相结合。所有这些特性最终都使用RF分类器进行分类。

Randhavane和他的同事对一个包含人们行走视频的数据集进行了一系列的初步测试，发现他们的模型能够识别人们感知到的情绪，准确率达到80%。此外，他们的方法比其他关注人们走路方式的感知情绪识别方法提高了约14%。

计算机科学系的研究教授阿尼克特·贝拉负责监督这项研究。“这项研究有很多应用，从改善人类对机器人和自动驾驶汽车的感知，到改进监控，再到在增强和虚拟现实中创造更吸引人的体验。”

除了Tanmay Randhavane和Aniket Bera，这项研究背后的研究团队还包括马里兰大学帕克分校的Dinesh Manocha和Uttaran Bhattacharya，以及北卡罗来纳大学教堂山分校心理学系的Kurt Gray和Kyra Kapsaskis。

为了训练他们的深度学习模型，研究人员还编写了一个名为“情绪行走”(Emotion Walk, EWalk)的新数据集，其中包含了人们在室内和室外环境中行走的视频，并贴上了感知到的情绪标签。在未来，这个数据集可以被其他团队用来开发和训练新的情绪识别工具，用来分析动作、姿势和/或步态。

“我们的研究还处于非常原始的阶段，”贝拉说。“我们希望探索身体语言的不同方面，并研究更多的线索，如面部表情、语言、声音模式等，并使用多模式方法将所有这些线索与步态结合起来。”目前我们假设行走动作是自然的，不涉及任何配件(如行李箱、手机等)。作为未来工作的一部分，我们希望收集更多的数据，更好地训练我们的深度学习模型。我们还将尝试扩展我们的方法，以考虑更多的活动，如跑步、打手势等。”

根据Bera的说法，感知情绪识别工具可以很快帮助开发具有更先进的导航、规划和交互技能的机器人。此外，像他们这样的模型可以用于从视频或闭路电视录像中检测异常行为或行走模式，例如识别有自杀风险的个人，并向当局或医疗服务提供者报警。他们的模型也可以应用于视觉特效和动画行业，可以帮助设计师和动画师创造出有效表达特定情感的虚拟角色。