用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)

大多数可穿戴智能设备和移动电话都可以通过触觉反馈与用户进行交流,从而实现从简单通知到可访问性的感官替代的应用程序。 通常,他们使用振动触觉致动器(小型电动振动马达)来实现这一点。 然而,设计一个针对给定任务具有良好针对性和有效性的触觉系统需要对执行器的数量及其在设备中的位置进行实验,但大多数实际应用需要独立的贴身设备并集成到小型设备中。 这种因素的组合在实验室之外很难解决,因为集成这些系统可能非常耗时,而且通常需要高水平的专业知识。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
左侧是典型的实验室设置,右侧是 VHP

ACM UIST 2021 上展示的“VHP: Vibrotactile Haptics Platform for On-body Applications”中,我们开发了一种低功耗微型电子板,可以驱动多达 12 个具有任意波形的独立触觉信号通道。 VHP 电子板可以由电池供电,并集成到可穿戴设备和小工具中。 它允许全天佩戴,具有低延迟,电池寿命在 3 到 25 小时之间,并且可以同时运行 12 个执行器。 我们展示了 VHP 可用于手镯、袖子和手机壳外形。 该手镯采用音频到触觉界面进行编程,以帮助唇读,并且在开发人员佩戴数月后仍能保持功能。 为了通过设计、实施和实验所需的工具促进可穿戴多通道触觉领域取得更大进展,我们正在通过 GitHub 发布 VHP 系统的硬件设计和软件。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
VHP 电路板的正面和背面。
用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
系统框图

平台规格

VHP 由定制设计的电路板组成,其中主要组件是微控制器和触觉放大器,它将微控制器的数字输出转换为驱动执行器的信号。 触觉执行器可以通过通过串行、USB 和蓝牙低功耗 (BLE) 以及板载麦克风到达的信号进行控制,使用 nRF52840 微控制器,选择该微控制器是因为它提供了许多输入和输出选项以及 BLE,所有这些都在一个 小包。 我们在电路板中添加了几个传感器以提供更多的实验灵活性:一个板载数字麦克风、一个模拟麦克风放大器和一个加速度计。 固件是一个可移植的 C/C++ 库,可在 Arduino 生态系统中运行。

为了在开发过程中实现快速迭代,电路板和执行器之间的接口至关重要。 12 个触觉信号的布线必须快速设置,以便进行此类开发,同时灵活且坚固以经得起长时间使用。 对于接口,我们在 VHP 上使用了 24 针 FPC(柔性印刷电路)连接器。 我们支持以两种方式连接执行器:使用定制的柔性电路板和刚性分线板。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
VHP 板(右侧的小板)通过刚性分线板(左侧的大板)连接到三种不同类型的触觉执行器

使用触觉执行器作为传感器

在我们之前的博文中,我们探讨了触觉执行器中的反电动势如何用于传感并展示了各种有用的应用。我们没有在 VHP 系统中使用反电动势传感,而是测量驱动每个振动触觉致动器的电流,并使用电流负载作为传感机制。与反电动势感应不同,这种电流感应方法允许同时感应和驱动,同时最大限度地减少电路板上所需的额外空间。

电流感测方法的一个挑战是有各种各样的振动触觉执行器,每个执行器的行为可能不同,需要不同的预设。此外,由于在使用适配器板进行原型设计期间可以添加和移除不同的执行器,因此如果 VHP 能够自动识别执行器将非常有用。这将提高原型设计的速度并使系统对新手更友好。

为了探索这种可能性,我们从三个现成的触觉执行器收集了当前负载数据,并训练了一个简单的支持向量机分类器来识别执行器之间信号模式的差异。对三个执行器进行分类的测试准确度为 100%,表明每个执行器都有非常不同的响应。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
不同的致动器在频率扫描期间具有不同的电流特征,从而允许自动识别

此外,振动触觉致动器需要与皮肤适当接触以一致控制刺激。 因此,该设备应测量皮肤接触并在未正确加载时提供警报或自我调整。 为了测试皮肤接触测量技术在实践中是否有效,我们测量了手镯在手腕周围收紧和松开时的当前负载。 随着手镯带被拉紧,皮肤和执行器之间的接触压力增加,驱动执行器信号所需的电流也相应增加。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
电流负载感应响应触摸,而执行器以 250 Hz 频率驱动
用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
测量手镯的合身质量

音频到触觉反馈

为了演示 VHP 平台的实用性,我们使用它开发了一种音频到触觉反馈设备来帮助唇读。对于许多看起来相似的语音(视位),例如“pin”和“min”,唇读可能很困难。为了帮助用户区分这些视位,我们将麦克风连接到 VHP 系统,然后该系统可以拾取语音并将音频转换为手腕上的振动。对于音频到触觉的翻译,我们使用我们之前开发的算法进行实时音频到触觉的转换,可通过 GitHub 获得。简而言之,音频滤波器与神经网络配对以识别某些音素(例如,拾取“pin”中的硬辅音“p”),然后将其转换为手镯不同部分的振动。我们的方法受到触觉音素套筒 (TAPS) 的启发,但主要区别在于,在我们的方法中,触觉信号是连续实时呈现的。

一位在日常生活中使用唇读的开发人员每天佩戴手镯几个月,发现它比以前的设备提供更好的信息来促进唇读,从而可以更好地理解手镯与单独唇读的唇读视位。 未来,我们计划在多个用户长时间佩戴该设备的情况下进行全面实验。

用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
左:音频到触觉套。 中:音频到触觉手镯。 右图:我们的一位开发人员测试了佩戴在双臂上的手镯

潜在应用

VHP 平台支持快速实验和原型设计,可用于开发适用于各种应用的技术。 例如:

  • 小型设备上的丰富触觉:扩大手机上执行器的数量(通常只有一两个)可能有助于提供额外的触觉信息。这特别有用,因为手指对振动很敏感。我们展示了带有八个振动触觉致动器的原型手机壳。这可用于在手机游戏或观看视频时提供丰富的通知和增强效果。
  • 实验室心理物理实验:由于 VHP 可以轻松设置为实时发送和接收触觉信号,例如来自 Jupyter Notebook,因此可用于执行实时触觉实验。
  • 通知和警报:可穿戴 VHP 可用于提供来自其他设备的触觉通知,例如,在有人在门口时发出警报,甚至可以通过使用多个执行器来传达可区分的警报。
  • 感官替代:除了上面的唇读辅助示例外,还有许多其他潜在的使用感官替代的可访问性应用,例如视觉到触觉的感应,甚至感应磁场。
  • 负载感应:从触觉执行器电流负载中感应的能力是我们平台独有的,并支持各种功能,例如压力感应或自动调整执行器输出。
用于身体应用的开源 Vibrotactile Haptics Platform (振动触觉平台,VHP)
将八个音圈集成到一个手机壳中。 我们使用负载感应来了解正在触摸哪些音圈

下一步是什么?

我们希望其他人可以利用该平台来构建多样化的应用程序。 如果您对使用我们的平台有兴趣并有想法或想接收更新,请填写此表格。 我们希望通过这个平台,我们可以帮助实现触觉的民主化,并激发触觉设备的更广泛使用。

致谢

这项工作由 Artem Dementyev、Pascal Getreuer、Dimitri Kanevsky、Malcolm Slaney 和 Richard Lyon 完成。 我们感谢 Alex Olwal、Thad Starner、Hong Tan、Charlotte Reed、Sarah Sterman 对本文的宝贵反馈和讨论。 Yuhui Zhao、Dmitrii Votintcev、Chet Gnegy、Whitney Bai 和 Sagar Savla 就设计和工程提供反馈。

0 0 投票数
文章评分

本文转载自Google AI,原文链接:https://ai.googleblog.com/2021/11/an-open-source-vibrotactile-haptics.html。

(0)
上一篇 2021-11-13 03:20
下一篇 2021-11-14 20:41

相关推荐

订阅评论
提醒
guest
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x
()
x