康奈尔大学的研究人员使用微型相机和定制的深度神经网络，开发了一种首创的腕带，可以以3D形式跟踪整个身体姿势。

BodyTrak是第一款使用单个摄像头跟踪全身姿势的可穿戴设备。如果将BodyTrak集成到未来的智能手表中，BodyTrak可能会改变游戏规则，从而在精度至关重要的体育活动中监测用户的身体力学，信息科学助理教授、该论文的资深作者ChengZhang说。

“由于智能手表已经配备了摄像头，像BodyTrak这样的技术可以了解用户的姿势并提供实时反馈，”张说。“这很方便，价格实惠，并且不会限制用户的移动区域。”

相应的论文“BodyTrak:InferringFull-bodyPosesfromBodySilhouettesUsingaMiniatureCameraonaWristband”发表在计算机协会(ACM)关于交互式、移动、可穿戴和无处不在的技术的会议论文集中，并呈现9月在UbiComp2022上，ACM普适计算国际会议。

BodyTrak是来自SciFiLab的最新身体感应系统——位于康奈尔AnnS.Bowers计算与信息科学学院——该团队之前开发并利用类似的深度学习模型来跟踪手和手指的运动、面部表情甚至无声语音识别。

BodyTrak的秘密不仅在于手腕上一角硬币大小的摄像头，还在于其背后定制的深度神经网络。这种深度神经网络——一种训练计算机从错误中学习的人工智能方法——读取相机的基本图像或用户运动中的“剪影”，并以3D的形式实时实时重建14个身体姿势。

换句话说，该模型准确地填写并完成了相机捕获的部分图像，信息科学领域的博士生、该论文的主要作者HyunchulLim说。

“我们的研究表明，我们不需要我们的身体框架完全在相机视野内进行身体感应，”Lim说。“如果我们能够只捕捉到我们身体的一部分，那么就可以推断出大量信息来重建全身。”

张和林说，在开发这些技术时，为佩戴这种传感设备的人附近的旁观者维护隐私是一个合理的考虑。他们说，BodyTrak减轻了旁观者的隐私问题，因为摄像头指向用户的身体并且只收集用户的部分身体图像。

他们还认识到，今天的智能手表还没有足够小或功能强大的摄像头和足够的电池寿命来集成全身感应，但未来可以。

与Lim和Zhang一起，论文共同作者是MatthewDressa'22、JaeHoonKim'23和信息科学领域的博士生张瑞东;麦吉尔大学李亚轩;上海建通大学的胡方。