逐步一步一个新的机器人操作系统帮助机器人理解基于图片的指令(就像这个机器人用红色玩具拳击手可以击败蓝色的图表所示)来执行各种任务。

充满某种常识的机器人可能很快就能够按照教学图来构建东西。在研究用于组装宜家家具或乐高村庄的图片时，人类自然善于推断如何从A到B.从而机器人通常必须精心编程，并准确说明如何移动。旧金山公司Vicarious AI的人工智能和神经科学研究员Dileep George说：“即使你试图通过示范来教授机器人，他们只是重复你向他们展示的完全相同的动作，而不是它们背后的概念。”

George及其同事现在设计了一个机器人操作系统，可以理解原理图指令中传达的基本思想，并将这些思想转化为行动。这些常识机器人，1月16日在线Science Scienceics在线描述，可以在不同于限制显式编码指令或物理演示的机器的条件下处理更多种类的任务。

新的机器人系统通过研究每种动作的图像之前和之后，学习了500多个一般概念，例如“在右边堆叠绿色物体”和“在圆圈中排列物体”。当给出带有前后图的新指令集时，经过充分训练的系统会考虑它所学到的所有概念，并选择并执行有助于实现其目标的操作。

乔治的团队在两个夹持臂机器人中测试了操作系统，这些机器人将物体移过桌面。机器人检查了图片说明，然后完成了任务，例如将柠檬与酸橙分开并连续排列不同颜色的罐头。当研究人员改变诸如要移动的物体类型或桌面颜色等条件时，这些机器也能很好地工作。