康奈尔大学的研究人员发明了即使戴着口罩也可以跟踪面部表情的耳机

康奈尔大学的研究人员已经发明了一种耳机，即使脸部被面具遮住，该耳机也可以连续跟踪完整的面部表情。这款名为C-Face的耳挂式设备通过观察脸颊轮廓来工作，然后将表情转换为表情符号或语音命令。

使用C-Face设备，用户无需将摄像头放在脸上就可以向在线协作者表达情感。这似乎是一种有用的交流工具，尤其是在由于大流行持续进行而使世界从事远程工作或学习的时候。

信息科学助理教授，这项研究的资深作者张成表示： “该设备比任何现有的耳挂式可穿戴技术都更简单，更不引人注目并且功能更强，可以跟踪面部表情。”

由于该设备通过检测肌肉运动来工作，因此即使用户戴着口罩，C-Face也可以捕获面部表情。仅使用面部提示，它也可以用于指导计算机系统，例如音乐播放器。

使用该设备，虚拟现实环境中的化身可以表达其用户的实际感受，并且讲师还可以获取有关在线课程中学生参与度的宝贵信息。

至于其工作，一旦捕获图像，就可以使用计算机视觉和深度学习模型对其进行重建。然后，使用卷积神经网络(一种用于分类，检测和检索图像的AI模型)将轮廓重建为表达式。

它将脸颊的图像转换为42个面部特征点或界标，这些特征点代表嘴，眼和眉毛的形状和位置，因为这些特征受表情变化的影响最大。

研究人员在九名参与者上测试了C-Face设备，重建地标的平均误差在0.8毫米以下。他们还发现表情符号识别的准确度超过88%，静音语音的准确度接近85%。