新颖的机器学习技术 用于模拟日常穿着任务
穿上衣服是一项日常的平凡任务,我们大多数人都很少或根本没有想过。我们可能永远不会考虑到早上穿衣服时涉及的多个步骤和身体动作。但这恰恰是在尝试捕捉穿着和模拟布料用于计算机动画的动作时需要探索的内容。
佐治亚理工学院的计算机科学家和Google的人工智能研究部门Google Brain设计了一种新颖的计算方法,该计算方法由机器学习技术驱动,能够成功和逼真地模拟穿衣服的多步骤过程。在解剖时,穿衣的任务非常复杂,涉及角色与他或她的衣服之间的几种不同的身体互动,主要是由人的触觉引导。
由于角色和模拟服装之间的复杂交互,创建穿在衣服上的角色的动画是具有挑战性的。研究人员指出,大多数高度约束的角色动画工作都涉及静态环境,这些环境对角色的运动没有太大反应。相比之下,衣服可以立即和剧烈地响应身体位置的微小变化;衣服具有折叠,粘住和紧贴身体的趋势,使触觉或触觉感觉,对于任务至关重要。
关于穿着的另一个独特挑战是它需要角色执行涉及多种子任务的长时间运动序列,例如抓住衬衫的前层,将手塞入衬衫开口并将手推过袖子。
“穿着对我们很多人来说似乎很容易,因为我们每天都在练习。实际上,布料的动态使得学习如何从头开始穿着非常具有挑战性,”研究和计算机科学博士的第一作者Alexander Clegg说。乔治亚理工学院的学生。“我们利用模拟来教授神经网络来完成这些复杂的任务,将任务分解为具有明确目标的小部分,允许角色尝试数千次任务并在角色尝试获益时提供奖励或惩罚信号。对其政策的不利变化。“
然后,研究人员的方法一步一步地更新神经网络,以便在未来更容易发生发现的积极变化。“通过这种方式,我们教会角色如何在任务中取得成功,”克莱格指出。
克莱格和乔治亚理工学院的合作者包括计算机科学家Wenhao Yu,Greg Turk和Karen Liu。该小组将与Google Brain研究员Jie Tan一起,于12月4日至12月7日在东京的SIGGRAPH Asia 2018展出他们的作品。年度会议展示了计算机图形学和互动技术领域最受尊敬的技术和创意成员,并展示了科学,艺术,游戏和动画等领域的前沿研究。
在这项研究中,研究人员展示了他们在几个穿衣任务上的方法:穿上T恤,穿上夹克和机器人辅助穿着袖子。通过训练有素的神经网络,他们能够以动画角色穿上衣服的各种方式实现复杂的重演。关键是将触觉融入其框架中,以克服布料模拟中的挑战。研究人员发现,在训练有素的网络中仔细选择布料观察和奖励功能对于框架的成功至关重要。因此,这种新颖的方法不仅能够实现单个敷料序列,还能够在各种条件下成功穿着的角色控制器。
“我们为使用强化学习在复杂环境中制作多步骤交互任务的新方法打开了大门,”克莱格说。“继续沿着这条道路前进,还有很多工作要做,允许模拟为虚拟世界中的任务培训提供经验和实践。”在扩展这项工作时,该团队目前正与佐治亚理工学院医疗机器人实验室的其他研究人员合作,研究机器人在敷料辅助方面的应用。
然后,研究人员的方法一步一步地更新神经网络,以便在未来更容易发生发现的积极变化。“通过这种方式,我们教会角色如何在任务中取得成功,”克莱格指出。
克莱格和乔治亚理工学院的合作者包括计算机科学家Wenhao Yu,Greg Turk和Karen Liu。该小组将与Google Brain研究员Jie Tan一起,于12月4日至12月7日在东京的SIGGRAPH Asia 2018展出他们的作品。年度会议展示了计算机图形学和互动技术领域最受尊敬的技术和创意成员,并展示了科学,艺术,游戏和动画等领域的前沿研究。
在这项研究中,研究人员展示了他们在几个穿衣任务上的方法:穿上T恤,穿上夹克和机器人辅助穿着袖子。通过训练有素的神经网络,他们能够以动画角色穿上衣服的各种方式实现复杂的重演。关键是将触觉融入其框架中,以克服布料模拟中的挑战。研究人员发现,在训练有素的网络中仔细选择布料观察和奖励功能对于框架的成功至关重要。因此,这种新颖的方法不仅能够实现单个敷料序列,还能够在各种条件下成功穿着的角色控制器。
“我们为使用强化学习在复杂环境中制作多步骤交互任务的新方法打开了大门,”克莱格说。“继续沿着这条道路前进,还有很多工作要做,允许模拟为虚拟世界中的任务培训提供经验和实践。”在扩展这项工作时,该团队目前正与佐治亚理工学院医疗机器人实验室的其他研究人员合作,研究机器人在敷料辅助方面的应用。