我相信使用过AR或VR设备的用户也有同样的感觉，就是在搜索或键入数据时，他们必须使用虚拟键盘上的红点或控制器来逐字查找和选择，这不仅缓慢而且累人。一种使用手势跟踪技术的新型AR/VR设备有望改善这种情况。
虽然Quest已经有了基本的齿轮跟踪技术，允许用户在系统界面上拖动、点击、浏览网页，甚至玩兼容的游戏，而不需要额外的控制器，但无法跟踪手指的运动，例如在虚拟键盘上打字。
为此，尝试开发更复杂的手势跟踪技术，包括手指运动，以便该技术可以开发出更多的应用。据介绍，研究人员使用了一个高度的外部手势跟踪系统，该系统使用运动模型来预测用户打算在平面上键入什么。该技术在虚拟键盘上独立识别手指的各个动作。
根据FRL，手势跟踪系统使用手的运动作为输入媒介，并将手指的运动直接解码为要键入的单词。FRL表示，它仍处于开发的早期阶段，但手势跟踪正在证明其提高生产率的潜力，例如通过在任何表面上快速打字。
根据这项研究，必须克服的主要障碍之一是如何减少手势跟踪系统中出现“打字错误”的机会。在没有来自键盘的触觉反馈的情况下，研究人员选择了人工智能（AI）技术，对用户的手指下一个字母进行逻辑预测。它还使用统计解码技术进行自动语音识别，并结合语言模型，以更好地预测用户想要键入的内容，并减少感染伤寒的机会。
使用这个模型，实验者用双手在平面上每分钟键入73个单词。错误率为2.4%，与同一实验者在物理键盘上的速度和准确性相似。
当然，在相关技术上仍有很大的改进空间，包括手势跟踪，这是FRL继续推广的；该技术有望在不断发展的AR器件中引入。通过OculusQuest设备测试创新技术似乎也是迈向更先进的AR设备的逻辑模型。
