把电影导演的权力放在无人驾驶飞机上
商业无人机产品可以解决一些自动化任务,但有一件事,这些系统没有解决,是艺术拍摄。 由卡内基梅隆大学的研究人员领导的一个团队已经提出了一个完整的航空摄影系统,用来学习人类的视觉偏好。 完全自主的系统不需要脚本场景、GPS标记来定位目标或先前的环境地图。
博士罗杰奥·博纳蒂说:“我们把导演的力量放在无人机里面。 D.学生在CMU的机器人研究所。 “无人机定位自己,记录场景中最重要的方面。 它自主地理解场景的背景-障碍在哪里,演员在哪里-它积极地解释哪些观点将使一个更有趣的视觉场景。 这也是保持安全和不崩溃的原因。
作为一个目标,“艺术有趣”是主观的,很难用数学的方法来量化,所以这个系统是用一种叫做深度强化学习的技术来训练的。 在一项用户研究中,人们在照片现实模拟器上观看场景,这些模拟器在正面、背面、左和右视角之间发生了变化。 镜头比例和距离也被探索,以及演员在屏幕上的位置。 用户根据他们在视觉上的吸引力和他们发现的艺术上的兴趣来评分场景。
系统了解到一些动作比其他动作更有趣.. 例如,其他自主无人机产品通常使用连续的后拍,因为它允许无人机在演员身后遵循一条清晰、安全的道路。 但在用户研究中,参与者报告说,一个不断的回拍在一段时间后变得无聊。 他们还发现,无人机必须经常切换角度,以保持拍摄有趣,但他们不能太频繁地切换。
博纳蒂说,团队希望使学习的行为具有可推广性,从模拟训练到实际生活场景中的部署。 虽然该系统平均用户在演员行走在建筑物之间狭窄的走廊时对镜头的偏好,但它可以使用地形测绘将这些偏好应用于类似的障碍,如森林路径。
机器人研究所的副研究教授塞巴斯蒂安·谢尔说:“未来的工作可以探索许多不同的参数,或者根据导演的风格或风格创造定制的艺术偏好。
空中系统还能熟练地保持演员的清晰视野,避免所谓的遮挡。 博纳蒂说:“我们是第一批提出新的方法来处理遮挡,这不仅仅是二进制的,而且实际上可以量化遮挡有多糟糕。”
其他创新包括高效的运动规划者预测行为者的轨迹,以及使用LiDAR的环境增量和高效的映射系统。
这个系统除了娱乐和体育以外,可能还很有用。 今天,各国政府和警察部门已经在许多应用中使用人工飞行无人机,包括监测人群和了解交通模式。 但是手动驾驶无人机需要大量的注意力,一个军官不能花他们的精力去看现场。 博纳蒂说:“就像学习艺术原理一样,这台机器可以被教导安全等其他应用所必需的镜头。”
这项研究的目的不是取代人类。 博纳蒂说:“我们仍将有一个训练有素的专业专家市场。 “目标是实现无人机电影摄影的民主化,让人们真正关注对他们重要的事情。”
这项工作将在2019年智能机器人和系统国际会议上介绍,并已被接受在“现场机器人杂志”上发表。