波兰-日本信息技术学院和华沙技术大学的研究人员开发了一个深度对齐网络（DAN）模型来分类和可视化情绪。他们的方法在两个基准数据集上被发现优于最先进的情感分类方法。

开发能够识别和分类人类情绪的模型是机器学习和计算机视觉领域的一个关键挑战。现有的情感识别工具大多使用多层卷积网络，在分类阶段没有明确地推断面部特征。

最近进行这项研究的研究人员Ivona Tautkute和Tomasz Trzcinski最初正在为一家设在加利福尼亚的初创公司开发一个系统，该系统可以集成到自主汽车中。该系统能够根据从安装在车内的单个摄像机中提取的数据对乘客进行计数。

在稍后阶段，两位研究人员开始探索可以做得更多的模型，通过估计乘客的年龄和性别来创建更广泛的统计数据。这个系统的一个明显的扩展是它也可以检测面部表情和情绪。

Tautkute解释说：“由于该系统将用于老年乘客，因此必须捕捉与司机脱离接触相关的负面和积极情绪。“现有的情感识别方法远非完美，因此我们开始寻找有趣的新方法来改进。在与计算机视觉研究员马雷克·科瓦尔斯基（Mare kKowalski）讨论后，我们想到了一个想法，他正在与深度对齐网络（DAN）进行面部对齐。面部地标的位置与表达的情感直接相关，所以我们很好奇是否可以建立一个将这两项任务结合起来的系统。”

情绪DAN是由Tautkute和Trzcinski设计的模型，是Kowalski的DAN模型的改编，其中包括一个与面部特征相关的术语。由于这一修改，他们的模型同时学习了两个面部地标的位置和表达的情感。

Tautkute说：“我们通过将最初DAN的损失函数扩大到一个负责情感分类的术语来实现这一点。神经网络是在连续的阶段训练的，它允许细化面部地标和学习情感。还有阶段之间的信息传递，跟踪归一化的人脸输入、特征图和地标热图。

在一个初步的评估中，情绪DAN在两个基准数据集，即CK和ISED上，优于最先进的分类方法5%。研究人员还能够在做出决策时通过模型对图像区域进行可视化分析。他们的观察结果显示，情绪DAN可以正确识别与人类情绪表达相关的面部地标。

Tautkute说：“我们的研究真正有趣的是，即使我们不向网络提供任何与情感相关的空间信息，但该模型能够自己学习哪些面部区域在试图理解面部表情时应该被关注。”“我们人类直观地看着一个人的眼睛和嘴巴，注意到微笑或悲伤，但神经网络只看到一个像素的矩阵。为了给定的分类决策，验证哪些图像区域被激活，使我们更接近于理解模型和它是如何决策的。

尽管情绪DAN和其他情绪识别工具取得了非常有希望的结果，但理解人类情绪仍然是一项非常复杂的任务。虽然现有的系统已经取得了显著的效果，但当情绪表达到很大程度时，它们主要能够做到这一点。

然而，在现实生活中，人类表达的情感暗示往往要微妙得多。例如，一个人的幸福可能并不总是通过在一个广泛的微笑中露出所有的牙齿来表达，而只是需要唇角的轻微移动。

陶特库特说：“了解情绪的更多主观方面以及他们的表达方式在个体之间的差异将是非常有趣的。”“更进一步，我们可以尝试区分虚假情绪和真实情绪。例如，神经学家指出，不同的面部肌肉参与了真实和假笑。特别是，眼部肌肉在强迫表达中不会收缩。利用从数据中学到的信息来发现类似的关系将是很有趣的。”.