生物启发的多感官整合的视觉触觉神经元

以下文章来源于Artificial Synapse ，作者Synapse

研究背景

在完全黑暗的环境中，依靠视觉感官进行导航是没有用的，相反，触觉会更有效。由于神经系统的反应较大，用力触摸可以揭示有关物体或障碍物的更多信息，而轻轻触摸则可能不足以唤起神经反馈。然而，硬触也可能导致不良后果，如损坏物体，例如在黑暗的房间内移动时损坏贵重的艺术品，或因危险实体的存在而伤害身体。在这种情况下，即使是短暂的闪光也能大大提高成功移动的几率。这是因为视觉记忆可以影响和帮助触觉反应，从而实现导航。如果我们的视觉和触觉皮层只对各自的单模态线索做出反应，就不可能做到这一点。因此整合跨模态线索是大脑功能的基本特征之一。

在大脑中，每种感官在不同的情况下都能发挥最佳功能，但它们共同作用，可以提高探测和识别物体和事件的可能性。一般认为，大脑中有专门的区域，如视觉、听觉、躯体感觉、味觉和嗅觉皮层，处理来自一种模式的感觉输入，而跨模式整合则发生在更高的皮层区域。然而，最近的研究结果表明，多感觉整合可以通过接收来自两种或两种以上感觉模式汇聚输入的特化神经元在初级感觉区域进行。例如，在训练有素的猴子的初级躯体感觉皮层中发现的 S1 神经元除了对躯体感觉输入做出反应外，还对视觉和听觉刺激做出反应。同样听觉皮层中的 A1 神经元对听觉和躯体感觉线索都有反应。多感官整合的优势在于多感官反应具有超加性，即不仅超过单感官反应，还超过它们的算术总和。

多感官整合的另一个主要特点是，多感官增强通常与被整合的单个线索的强度成反比。这被称为反效果效应，具有直观意义，因为高度突出的单模态刺激会在相应的单感官神经元中唤起强烈的反应，这种反应很容易被检测到。在这种情况下，多感官整合可以大大增强神经活动，并通过提高检测和定位事件的速度和可能性对动物行为产生积极影响。换句话说当单个刺激引起的反应最弱时，多感官放大作用最大。最后，多感觉统合具有时间一致性即统合反应的大小对每种感觉输入所引发的反应之间的时间相关性非常敏感。换句话说，当活动的高峰期重合时，反应达到最大值。多感官信息处理的例子在自然界比比皆是。例如，海豚将从回声中获得的听觉线索与视觉系统相结合，使它们能够全面了解周围环境中的物体、距离和形状。蜜蜂通过被称为“摇摆舞的复杂舞蹈向它们的蜂巢伙伴传达食物来源的位置。这些舞蹈结合了视觉线索，如摇摆的角度和持续时间，以及从花蜜中获得的气味线索，有效地传递了食物来源的距离和方向等信息。虽然神经科学领域，尤其是认知和行为领域，已经对多感官整合进行了广泛研究，但机器人、人工智能和神经形态计算领域尚未充分发挥多感官整合的优势。

研究成果

多感觉统合是大脑的一个显著特征，与单感觉统合相比，多感觉统合能使大脑做出更好、更快的反应，尤其是在单感觉线索较弱的情况下。接收来自两种或两种以上感官模式汇聚输入的特化神经元负责这种多感官整合。能够模拟这些多感官神经元响应的固态设备可以推动神经形态计算的发展，并缩小人工智能与自然智能之间的差距。在这里，宾夕法尼亚大学Saptarshi Das教授等人介绍了一种基于光敏单层 MoS2忆阻晶体管和摩擦静电触觉传感器集成的人工视觉神经元，它能准确捕捉多感官集成的三个基本特征，即超鲁加响应、反向效力效应和时间一致性。我们还实现了一种可将视觉触觉信息编码为数字尖峰事件的电路,尖峰事件的概率由视觉和触觉线索的强度决定。相信，对生物启发的多感官视觉触觉神经元和尖峰编码电路的全面展示将推动神经形态计算领域的发展，该领域迄今为止主要侧重于单感官智能和信息处理。相关研究以“A bio-inspired visuotactile neuron for multisensory integration”为题发表在Nature Communications期刊上。

图文导读

Fig. 1 | Multisensory integration.

Fig. 2 | Tactile and visual response of MN and unisensory integration.

Fig. 3 | Observation of inverse effectiveness effect and super-additive response from the visuotactile integration by the MN.

Fig. 4 | Comparison between unisensory and multisensory integration and demonstration of temporal congruency.

Fig. 5 | Visuotactile spike encoding.

总结与展望

总之，作者实现了一种由摩擦静电触觉传感器和单层 MoS2 光敏晶体管组成的视觉触觉 MN，它具有多感官整合的所有三个特征，即超加成响应、反向效力效应和时间一致性。作者还开发了一种可视尖峰编码器电路，可将来自多感官集成电路的模拟电流响应转换为数字尖峰。相信该多感官整合技术将推动神经形态和生物启发计算领域的发展，迄今为止，该领域主要依赖于单模态感官信息处理。多感官融合的影响是深远的，它可以应用于国防、太空探索以及许多机器人和人工智能系统。最后，多感官融合的原理可以从视觉信息处理扩展到其他感官刺激，包括音频、嗅觉、热和味觉刺激。

文献链接

A bio-inspired visuotactile neuron for multisensory integration

https://doi.org/10.1038/s41467-023-40686-z

转自：“i学术i科研”微信公众号

如有侵权，请联系本站删除！