虚拟现实手部跟踪应用的用户界面设计

2019年末，Oculus Quest手部跟踪的推出主导了虚拟现实(VR)行业。虽然这一实验功能仍处于起步阶段，但VR应用程序开发人员对此大肆炒作，因为它可能会为混合现实技术中令人兴奋的新可能性打开大门。

Oculus Quest手部跟踪支持寻求让VR开发者通过自然的手势和简单的互动更自由地创作和表达自己。随着时间的推移，应用程序开发人员可能能够利用这一功能，使虚拟现实成为用户更容易获得的、更逼真的体验。

大多数AR耳机和Oculus Quest等更先进的VR耳机都在争取所谓的六自由度(6DOF)，你可以在你的空间里自由移动你的手和身体。

Oculus Quest带有触摸控制器，耳机中的传感器可以跟踪移动。不需要电线。这是这款设备最令人兴奋的功能之一，难怪两款Quest型号(64 GB和128 GB)在Oculus商店都销售一空。如果你曾经想过获得Oculus Rift或S裂缝，可以考虑先获得Quest。

要体验这一突破性的功能，请尝试以下几个使用真实双手的示例：

在这篇文章中，我们将探索Oculus Quest手部跟踪的影响，查看当前的最佳实践，并考虑如何掌握这项潜在的突破性技术，以创建更好的用户界面(UI)。

请将本文视为开发UX/UI设计的实用建议。请记住，手部跟踪领域仍处于早期阶段，没有“一刀切”的方法。除了系统的局限性外，不同的用户对应用程序的虚拟体验是不同的。话虽如此，这个内容是一个很好的起点。

手部跟踪是Oculus Quest头盔显示器(HMD)上的一项功能，使人们在使用VR设备时可以将手作为一种可行的输入方法。用户可以用手做出简单的手势，例如捏、按住或拖动，以在VR环境中执行任务或动作。

最重要的是，它是全关节的跟踪硬件，可以确定你的手在虚拟空间中的位置，以及每个手指或手指关节在任何时刻都在做什么。这种设计促进了自然的交互，为用户提供了更高的临场感和更身临其境、更吸引人的体验。

跟踪的运动控制器或全息镜头1不会提供有关您的手的位置或手指指向的位置的信息。同样，气门关节不是手部跟踪技术，因为它们只提供一个运动轴。

您可以在Leap Motion、HoloLens 2、智能手机SDK(包括MediaPipeSDK和ManoMotion)以及VR(包括Manus Prime和VRluv)中看到全关节手部跟踪的很好示例。

现在，Oculus Quest Hand Tracking也加入了这一名单，这为应用程序开发人员提供了绝佳的机会。

当Facebook现实实验室的产品和设计团队集思广益时，好事就会发生。最初作为一个研究项目开始的项目已经为虚拟现实输入带来了一个创新的新范式。

设计范例是支撑我们如何与软件交互的基本概念。在虚拟现实中，这一场景发生了巨大的变化，这是高级手部跟踪的本质演变。

Oculus Quest手部跟踪软件包含深度学习功能，允许计算机仅使用Quest自带的单色相机来确定用户手指的位置。这项技术创建了一组映射到用户手和手指的3D点，使其能够在VR环境中精确地表示运动。

虽然新的Oculus功能是混合现实的一次飞跃，但它对开发人员和用户都构成了挑战。所有未探索的技术都是未经测试的，因此，它迫使设计师跳出框框进行思考，因为他们必须有效地提出为这种独特的硬件设计软件的新方法。

上一次如此重大的转变是当世界转向以移动为中心的现实，将台式电脑换成智能手机和平板电脑时。开发人员不得不忘记基于鼠标的环境，转而考虑触摸屏，因为点击被滑动取代了。

现在，在VR开发领域，应用程序设计者必须想办法用他们的手而不是控制器来最大限度地利用Oculus Quest技术。

使用Oculus Quest手部跟踪时，您可以通过三种方式与虚拟环境交互：

直接操作是一种虚拟现实输入模型，用户可以用手触摸全息图并与其交互。物体的行为就像它们在现实中一样，因此，这是学习如何控制虚拟世界的一种有趣而简单的方式。

您可以按下按钮、拾取对象、滚动窗口和激活2D内容方面，就像它们是虚拟触摸屏一样。直接操作是一种接近输入的模型，这意味着当您想要在伸手可及的范围内与内容交互时，它是最好的。

抖动是虚拟手和实际手之间的错位。在许多AR平台中，虚拟手都是以抽象的方式表示的，比如形状、云或闪光。这种设计有意隐藏抖动效果，这样用户就不会察觉到任何明显的抖动。

漂移是一种你在虚拟世界中移动的感觉，即使你站着不动。物体似乎无缘无故地在你周围移动，因为电脑认为你的手与其实际位置相比有一个恒定的偏移量。光线不佳或进入耳机的光线过多是漂移问题的主要原因。

奇怪的心灵传送是指虚拟手的一部分，如手指，随机出现在手中，甚至完全脱节在房间的其他地方。它可能只持续一帧，因为当技术误读环境并做出奇怪的误判时，这些错误就会发生。(这也是一个交响乐进步摇滚乐队的好名字。)

这三个问题加在一起是影响交互分辨率的关键因素，交互分辨率是用户可以舒适地参与虚拟世界而不会遇到任何有害的视觉或性能问题的最小对象规模。

如果你有一个外部跟踪的控制器，比如Quest控制器，你就会拥有难以置信的精确度。您可能会发现，在虚拟环境中可以轻松地与针头大小的项目进行交互。然而，对于手部跟踪，由于上述问题，交互分辨率并不是很好。实际上，任何小于一英寸的物体都很难接合。

虽然Oculus Quest手部跟踪的质量和用户界面仍然令人印象深刻，但该技术仍有改进的空间。随着时间的推移，质量会变得更好，但就目前而言，设计师必须接受一些限制。

在设计虚拟世界时，除了物体的大小之外，你还必须考虑你的手臂的长度。使用直接操作时，您只能与您可以到达的对象交互。更重要的是，要考虑手臂最短的用户的长度，并确保不要让您的虚拟世界塞满可能无法触及的元素。

手射线是一种虚拟现实设计概念，用户可以从手中向远处的物体“发射”光束，然后使用手势从远处对该物体进行控制。

此功能使您能够以多种方式与用户界面交互，例如翻转开关、按下按钮或从房间中拾取物品。当你的手指和拇指一起触摸来激活对物体的控制时，你甚至可能会得到一些触觉反馈。

您可以根据头部位置锚定手射线，这会在您使用手臂和手通过更大范围的运动调整角度之前增加一定程度的精确度。

通常情况下，手射线在虚拟环境中不像在计算机上工作得那么好。

手势识别是一种虚拟现实设计概念，计算机根据手指和手掌的位置和形状分析用户的手的姿势，然后触发相应的动作。例如，计算机可以识别常见的手语使用，如和平符号或摇滚乐手势。

对于设计师来说，手势可能很难处理，因为有很大的出错空间。您必须考虑以下事项：

通过潜意识的动作或普通的肢体语言无意地做手势。人们在说话时自然地移动他们的手，可能会导致软件做出一些回应。

您的世界中的有意操作可能会出于其他原因侵犯用户使用某些姿势的能力。例如，如果用户可以激活世界上的某个按钮，但也可以在其他地方使用类似的按下动作，则可能会混淆系统。

像OK手势或竖起大拇指这样刻意的固有意思手势在许多文化中已经有了根深蒂固的含义。设计人员必须避免在他们的用户界面中使用它们，因为用户希望在他们已经理解的含义和软件将感知的含义之间存在紧密的一对一映射。

故意无意义的手势是特定的姿势或动作，没有任何先入为主的文化意义，只是故意做的。例如，Quest使用了一个不太可能与任何自然肢体语言混淆的捏眼睛的手势。

设计人员必须结合某些手势，使用户能够改善其Oculus Quest手部跟踪应用程序的用户体验。基本姿态的一个突出示例是执行系统转义。用户必须始终具有访问此功能的权限。

当手势的内在含义与结果相匹配时，将该手势包含在您的设计中是值得的。例如，如果用户想要截图，他们可以将大拇指的尖端从另一只手指向食指，以创建一个正方形的形状，就像他们正在透过相机的框架观看一样。

手部跟踪应用程序中合理手势的另一个示例是当该手势是界面中的唯一交互时。例如，在虚拟飞镖游戏中，用户进行的唯一交互是投掷飞镖的动作。

Oculus Quest手部跟踪的最新发展让VR/AR社区议论纷纷，许多UI设计师都在紧锣密鼓地推进这一功能的界限。

虚拟现实在许多方面仍然有限，因为设计师还没有发现最重要和最具探索性的范例，以最大限度地发挥手跟踪技术的潜力。

以下是您在设计Oculus Quest手部跟踪应用程序时可以使用的一些想法：

清单不胜枚举，只是受到设计师想象力的限制。要了解虚拟现实设计中新范式的可能性，请考虑下面的例子。

滑动键盘使您可以在虚拟键盘周围滑动双手。该软件使用机器学习技术猜测你试图写的是什么，当你继续滑动时，完成的文本会出现在屏幕上。

飞手让你有可能与遥远的物品互动。它类似于修改后的手射线，其中您的手位于光线的末端，允许对距离较远的对象进行近场直接对象操纵。

范围/大小放大是另一种距离工具，其中虚拟现实的手比用户的实际手大得多。这允许进行大规模操作，因此您可以使用相对最少的移动来控制巨大的对象和整个场景。

抛手是一个有趣的概念，你可以把手从你身上抛开，然后用手势在地板或其他表面爬行，以到达物体。

其中一些想法充其量可能看起来很新奇，但Shopify的VR/AR负责人丹尼尔·比彻姆(Daniel Beuchamp)解释说，这是一条重要的进化之路。

“释放新的和强大的想法的最好方法之一就是建立在愚蠢的想法上，”比彻姆说。

要想在VR/AR中获得突破性的想法，你必须首先经历很多糟糕的想法。在执行此操作时，请考虑如何更快地改进手部跟踪。设置好Oculus Quest进行开发后，将您的注意力转移到研究人员的模式。

与其试图立即用手跟踪来头脑风暴一个获胜的产品，你应该玩弄这项技术，想出用户喜欢的有趣的想法。在这样做的过程中，您可以熟悉该工具的功能，并且可能会偶然发现可以应用于更有目的的项目的交互和概念。

波尚声称，他希望更多的虚拟现实开发者采用这种方法，因为这些小想法可以带来巨大的突破。

“不要把构建整个游戏或整个产品的重担放在自己身上。建造许多小东西，不管它们看起来有多傻。你会惊讶于你学到了多少东西。“。

如果有人走进你的办公室，看到你办公桌上放着一双假手，他们可能会认为你的做法有点太愚蠢了。然而，VR应用程序开发人员应该考虑给自己买一些高质量的物理模型。

当你有一双手的时候，向其他团队成员阐述你的想法和解释你的概念要容易得多。您可以在手背上绘制一些轴，这样可以更容易地更准确地演示不同的动作和建议的手势。

讨论设计概念和新想法是至关重要的。只有当您与您的团队成员公开谈论时，您对虚拟现实环境或应用程序的愿景才会实现。

确保你有定期会议或开放平台和项目管理工具，以促进自由流动的讨论，这样你就可以四处交流想法，并获得所需的反馈，将粗略的脑电波塑造成一个精致的概念。

设计界的每个人都知道，你越快让你的设计变得可见，效果就越好。以下是一些UI设计者可以用来磨练他们在设计VR环境中的技能的工具：

矢量采用2D矢量并赋予其深度，以使其成为3D矢量。您可以这样做来自己快速创建3D世界，而不需要软件工程师或高级编码技能。

谷歌的积木可以让你进入虚拟现实的世界，并使用基本的积木来构建形状。然后可以将完成的模型直接导出到游戏引擎中。

谷歌的倾斜画笔是一个类似于块的工具，它允许你通过绘画工具创建更复杂的有机形状。

避免在没有好的调试工具的情况下潜心于VR设计的诱惑。您需要考虑如何改进系统和用户界面，因此，调试工具是帮助您快速识别和消除问题的重要方面。

在虚拟现实设计中，时间往往是一个重要的限制因素。即使您掌握了调试问题，也必须寻找减少迭代时间的方法。

如果您使用的是Oculus链接，您可以在PC上使用Quest手动跟踪，而不是构建应用程序并将其部署到Quest进行测试。通过Oculus链接，您的VR应用程序将通过Unity或虚幻进行实况播放。另一种替代方法是“泄漏运动”，这是一种可以放在办公桌或头盔上的摄像头，使团队中的每个人都能访问手部跟踪。

另一个想法是配置通过鼠标或键盘功能模拟手的方法。这样做意味着团队中的人员可以快速处理简单的想法，从而加快了设计过程。

当你使用VR新手进行Beta测试时，它可能会被证明是徒劳的。因为他们没有使用硬件的经验，所以他们很难通过令人惊叹的因素。取而代之的是，你应该使用有一些虚拟现实经验的人，因为他们可以给出负面反馈和建设性的批评，帮助你改进应用程序设计。

虽然许多专家可能对某些范例或技术有一些偏见，但它们对测试和优化帮助更有用。要消除任何偏见，请要求您的测试人员仅依赖他们在虚拟环境中的所见所闻。通过装聋作哑，只按照软件告诉他们做的事情行事，用户就可以识别UI中的缺陷。

Oculus Quest手部跟踪提供了从教育到企业的巨大机遇。随着虚拟现实越来越多地融入现代世界，越来越多的公司希望挖掘这项技术的原始潜力。

目前，设计中还存在一些问题。尽管如此，UI设计师和应用程序开发人员仍然可以结合在一起，为各种现实世界的使用创造令人难以置信的引人入胜和身临其境的VR环境。

设计团队内部的沟通至关重要，与用户的外部沟通也是如此，尤其是在测试和优化方面。开发人员在测试期间必须寻求有经验的VR用户的帮助，并利用先进的调试工具来减少迭代时间。

性能是最重要的，但随着竞争加剧，快速生产至关重要，因为竞争将成为在智能手机上创造下一个虚拟现实刷卡动作的公司。

您可以在Microsoft Design Labs Hands Playround for Quest和HoloLens 2中了解更多关于手部设计的信息，或者练习手部跟踪技术。