iMusic是一个创新的项目，利用了一种名为惯性测量单元（IMUs）的小型设备，通过精准捕捉面部表情来提供一个独特的解决方案。这些设备可以直接贴在脸上，避免了传统基于摄像头的面部捕捉技术所面临的隐私和视线遮挡问题。
软件功能
- 隐私保护：不依赖摄像头，不捕捉视觉图像，保护用户隐私。
- 细微表情捕捉：能够检测并捕捉到细微的面部运动，捕获轻微的表情变化。
- 避免视线遮挡：即使面部部分被遮挡，也能准确捕捉面部表情。
- 数据采集与校准：收集面部运动的原始数据，并进行校准，确保数据的准确性。
软件特点
- 灵活性和可移植性：IMUs小巧轻便，可集成到多种设备中，适用于娱乐、健康监测、人机交互等多个领域。
- 精确捕捉：通过放置在面部关键位置的IMUs，精确监测表情变化。
- IMU-ARKit数据集：创建了一个丰富的数据集，包含IMU和视觉信号配对，为模型训练提供基础。
- 面部表情预测模型：采用特别设计的Transformer扩散模型，从IMU数据中预测面部的混合形状参数。
应用场景
- 隐私敏感场合：在需要保护隐私的场合，如医疗健康监测，提供一种安全的面部表情捕捉方法。
- 视线遮挡环境：在面部部分被遮挡的情况下，如佩戴口罩时，依然能准确捕捉表情。
- 细微表情分析：在心理学研究、游戏娱乐和虚拟现实中，准确捕捉和分析用户的细微表情。
下载地址
- 论文：arXiv 论文
- 视频演示：YouTube 视频
iMusic项目通过其独特的技术实现，开创了面部表情捕捉的新途径，不仅保护了用户的隐私，还克服了传统方法的限制，为未来的应用开辟了广阔的可能性。
