麻省理工学院的研究人员在处理各种物体时戴着传感器包装的手套，汇编了一个庞大的数据集，使人工智能系统能够单独通过触摸识别物体。这些信息可以用来帮助机器人识别和操纵物体，并可能有助于假肢的设计。

研究人员开发了一种低成本的针织手套，名为“可伸缩触觉手套”（STAG），装备了大约550个微型传感器，覆盖了几乎整个手部。每个传感器捕捉压力信号，因为人类以各种方式与物体相互作用。神经网络处理信号以“学习”与特定对象相关的压力信号模式的数据集。然后，系统使用该数据集对对象进行分类，并通过感觉来预测它们的权重，而不需要视觉输入。

在一篇发表在“自然”杂志上的论文中，研究人员描述了他们使用STAG为26个常见物体汇编的数据集-包括汽水罐、剪刀、网球、勺子、钢笔和杯子。利用该数据集，系统以高达76%的准确率预测了对象的身份。该系统还可以预测大多数物体在60克以内的正确重量。

类似的基于传感器的手套今天使用了数千美元，通常只包含大约50个传感器，捕捉更少的信息。尽管STAG提供了非常高分辨率的数据，但它是由商业上可用的材料制成的，总价值约为10美元。

触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，使机器人对与物体的交互有一个更像人的理解。

“人类能够很好地识别和处理物体，因为我们有触觉反馈。当我们触摸物体时，我们感觉到周围，并意识到它们是什么。机器人没有那么丰富的反馈，”Subramanian Sundaram Ph说。18岁，计算机科学和人工智能实验室（CSAIL）前研究生。“我们一直希望机器人能做人类能做的事，比如洗碗或做其他家务。如果你想让机器人做这些事情，他们必须能够很好地操纵物体。”

研究人员还使用数据集来测量在对象交互过程中手部区域之间的合作。例如，当某人使用食指的中间关节时，他们很少使用拇指。但食指和中指的尖端总是与拇指的用法相对应。他说：“我们第一次定量地显示，如果我用的是手的一部分，我用另一部分的可能性有多大。

假体制造商可以潜在地使用信息，例如，选择最佳的位置放置压力传感器，并帮助定制假肢的任务和对象，人们定期互动。

加入Sundaram的论文有：CSA IL博士后PetrKellnhofer和Jun-YanZhu；CSA IL研究生李云珠；Antonio Torralba，EECS教授和MIT-IBM WatsonAI实验室主任；WojciechMatusik，电气工程和计算机科学副教授，计算制造组组长。

STAG是一种导电聚合物，改变抗施加压力.研究人员通过导电聚合物膜上的孔缝制导电线，从指尖到手掌的底部。螺纹以一种将它们变成压力传感器的方式重叠。当戴着手套的人感觉到、举起、握住和掉落一个物体时，传感器记录每个点的压力。

这些线从手套连接到外部电路，将压力数据转换成“触觉地图”，这基本上是一个简单的视频，显示了点在一个手的图形中生长和收缩。点代表压力点的位置，它们的大小代表力-点越大，压力越大。

从这些地图中，研究人员从与26个对象的交互中编译了大约13.5万个视频帧的数据集。这些框架可以被神经网络用来预测物体的身份和重量，并提供关于人类掌握的洞察力。

为了识别物体，研究人员设计了一个卷积神经网络（CNN），通常用于对图像进行分类，将特定的压力模式与特定的物体联系起来。但诀窍是从不同类型的抓取中选择帧，以获得对象的完整图片。

这个想法是为了模仿人类用几种不同的方式来识别一个物体，而不使用他们的视力。同样，研究人员的CNN从视频中选择了多达8个半随机帧，这些帧代表了最不同的抓取-比如，从底部、顶部和手柄拿着一个杯子。

但是CNN不能仅仅从每个视频中的数千帧中选择随机帧，或者它可能不会选择不同的抓地力。相反，它将相似的框架分组在一起，从而产生与独特的抓取相对应的不同集群。然后，它从每个集群中提取一个框架，确保它有一个有代表性的样本。然后CNN使用它在训练中学到的接触模式来预测从所选帧中的对象分类。

克尔恩霍夫说：“我们希望最大限度地利用帧间的变化，为我们的网络提供尽可能好的输入。“单个集群中的所有帧都应该有一个相似的签名，表示类似的抓取对象的方式。从多个集群中采样，模拟一个人类在探索一个物体时试图找到不同的抓取。

为了进行体重估计，研究人员建立了一个独立的数据集，大约11，600帧，从触觉地图上的物体被手指和拇指捡起，拿着，然后放下。值得注意的是，CNN没有对任何被测试的帧进行训练，这意味着它不能仅仅学习将重量与物体联系起来。在测试中，一个帧被输入到CNN中。从本质上讲，CNN会挑出物体重量造成的手周围的压力，而忽略了其他因素造成的压力，如手的定位，以防止物体滑落..然后根据适当的压力计算重量。

该系统可以与已经在机器人关节上测量扭矩和力的传感器相结合，以帮助它们更好地预测物体的重量。孙达拉姆说：“关节对于预测体重很重要，但我们捕捉到的指尖和手掌也有重要的重量成分。