机器学习赋予用户超人的能力来打开和控制虚拟现实中的工具

研究人员开发了一种虚拟现实应用程序，只需用户手部的移动即可打开和控制一系列3D建模工具。剑桥大学的研究人员利用机器学习开发了“HotGestures”——类似于许多桌面应用程序中使用的热键。

HotGestures使用户能够在虚拟现实中构建图形和形状，而无需与菜单交互，帮助他们专注于任务，而不会打乱思路。

几十年来，能够在虚拟现实中打开和控制工具的想法一直是电影中的比喻，但研究人员表示，这是第一次使这种“超人”能力成为可能。研究结果发表在《IEEE可视化与计算机图形学汇刊》杂志上。

多年来，虚拟现实(VR)和相关应用一直被誉为游戏规则改变者，但在游戏之外，它们的承诺尚未完全实现。领导这项研究的剑桥大学工程系教授佩尔·奥拉·克里斯滕森(PerOlaKristensson)表示：“用户在使用VR时获得了一些品质，但很少有人愿意长时间使用它。”“除了视觉疲劳和人体工程学问题之外，VR并没有真正提供您在现实世界中无法获得的任何东西。”

大多数桌面软件用户都会熟悉热键的概念-命令快捷方式，例如用于复制的ctrl-c和用于粘贴的ctrl-v。虽然这些快捷方式不需要打开菜单来查找正确的工具或命令，但它们依赖于用户记住正确的命令。

“我们希望采用热键的概念，并将其转变为对虚拟现实更有意义的东西，而不是依赖于用户脑中已有的快捷方式，”Kristensson说，他也是该项目的联合总监。受人类启发的人工智能中心。

Kristensson和他的同事开发了“HotGestures”，而不是热键，用户可以用手执行手势来打开和控制他们在3D虚拟现实环境中所需的工具。

例如，执行切割运动会打开剪刀工具，而执行喷射运动会打开喷雾罐工具。用户无需打开菜单来查找所需的工具，也无需记住特定的快捷方式。用户可以通过在任务期间执行不同的手势来在不同的工具之间无缝切换，而无需暂停工作来浏览菜单或按下控制器或键盘上的按钮。

克里斯滕森说：“在现实世界中，我们都用手进行交流，因此将这种交流形式扩展到虚拟世界是有意义的。”

在这项研究中，研究人员构建了一个神经网络手势识别系统，可以通过对传入的手部关节数据流进行预测来识别手势。该系统旨在识别与构建3D模型相关的十种不同手势：钢笔、立方体、圆柱体、球体、调色板、喷涂、剪切、缩放、复制和删除。

该团队进行了两项小型研究，参与者使用HotGestures、菜单命令或组合。基于手势的技术为工具选择和使用提供了快速有效的快捷方式。参与者发现HotGestures独特、快速且易于使用，同时还补充了传统的基于菜单的交互。

研究人员设计的系统不会出现错误激活——基于手势的系统能够正确识别什么是命令，什么是正常的手部动作。总体而言，基于手势的系统比基于菜单的系统更快。

“目前还没有可用的VR系统可以做到这一点，”克里斯滕森说。“如果使用VR就像使用键盘和鼠标一样，那么使用它还有什么意义?它需要给你几乎超人的力量，这是你在其他地方无法获得的。”

研究人员已公开源代码和数据集，以便VR应用程序的设计者可以将其整合到他们的产品中。

“我们希望这成为与VR交互的标准方式，”克里斯滕森说。“几十年来，我们一直使用文件柜这种陈旧的比喻。我们需要与技术交互的新方式，我们认为这是朝这个方向迈出的一步。如果做得好，VR可以像魔法一样。”