智能眼镜上的人工智能声纳可追踪目光和面部表情

康奈尔大学的研究人员开发了两种通过类似声纳的传感技术来跟踪人的目光和面部表情的技术。该技术足够小，可以安装在商用智能眼镜或虚拟现实或增强现实耳机上，但比使用相机的类似工具消耗的电量要少得多。

两者都使用安装在眼镜框上的扬声器和麦克风来从面部反射听不见的声波，并拾取面部和眼睛运动引起的反射信号。GazeTrak是第一个依赖声学信号的眼球追踪系统。第二个是EyeEcho，是第一个基于眼镜的系统，可以连续、准确地检测面部表情，并通过化身实时重新创建它们。

这些设备使用智能眼镜电池可以持续几个小时，使用VR耳机可以持续一天以上。

“它很小，很便宜，而且功耗超低，所以你可以每天把它戴在智能眼镜上——它不会耗尽你的电池，”信息科学助理教授张成说。张领导着未来交互智能计算机接口(科幻)实验室，该实验室创建了新设备。

负责GazeTrak和EyeEcho开发的博士生KeLi表示：“在VR环境中，你希望重现详细的面部表情和注视动作，以便与其他用户进行更好的互动。”

对于GazeTrak，研究人员在一副眼镜的每个眼框内侧放置了一个扬声器和四个麦克风，以反射和拾取来自眼球和眼睛周围区域的声波。产生的声音信号被输入定制的深度学习管道，该管道使用人工智能不断推断人的注视方向。

对于EyeEcho，一个扬声器和一个麦克风位于眼镜铰链旁边，指向下方以捕捉面部表情变化时的皮肤运动。反射信号也可以使用人工智能进行解释。

借助这项技术，即使在嘈杂的咖啡馆或街道上，用户也可以通过化身进行免提视频通话。虽然一些智能眼镜能够识别面部或区分一些特定的表情，但目前没有像EyeEcho这样能够连续跟踪表情的智能眼镜。

这两项进步的应用不仅仅局限于增强个人的VR体验。GazeTrak可以与屏幕阅读器一起使用，为弱视人士在浏览网站时读出部分文本。

GazeTrak和EyeEcho还可以帮助诊断或监测神经退行性疾病，例如阿尔茨海默病和帕金森病。在这些情况下，患者通常会出现异常的眼球运动和表情较少的面部表情，而这种技术可以在患者舒适的家中跟踪疾病的进展。

Li将在秋季举行的移动计算和网络年度国际会议上展示GazeTrak，并在5月份举行的计算机协会CHI计算系统中的人为因素会议上展示EyeEcho。