用于生物启发式传感器内运动感知的光电分级神经元

以下文章来源于Artificial Synapse ，作者pig iron

研究背景

视觉信息在物联网的海量数据中占有很大比例。无处不在的分布式图像传感器需要在电力受限的情况下识别静态图像和动态运动，并以智能方式获取理解，在自动驾驶汽车和监控系统等一系列应用中发挥着至关重要的作用。最先进的机器视觉系统通常由物理上分离的图像传感器和处理单元组成。大多数图像传感器只能输出空间帧，而不能融合时间信息。要实现准确的动作识别，就必须将“空间”和“时间”流信息传输到处理单元并加以融合。因此，用于动作识别的机器视觉系统通常涉及复杂的人工神经网络，例如，具有~2x8层和~106 个网络参数的“空间”和“时间”流计算架构。

生物视觉系统能在复杂的环境中有效地感知运动而且能效很高。飞行昆虫(如果蝇)的视觉系统很小(约~8 x 102个膜片和105个神元，却能比人类更快地敏捷识别运动物体。昆虫视觉系统由非尖峰分级神经元 (视网膜-视束) 组成，其信息传输率(R)远高于人类视觉系统中的尖峰神经元。更重要的是，分级神经元能在感觉终端对时间信息进行有效编码，从而减少了在计算单元中融合时空信息所需的大量视觉数据的传输。这种微小而敏锐的昆虫视觉系统能以有限的计算资源有效感知运动，这启发了我们开发用于传感器内运动感知的光电分级神经元。

研究成果

事实证明，运动处理是一项计算挑战，需要大量的计算资源。与此形成鲜明对比的是，飞行昆虫可以利用其微小的视觉系统敏捷地感知真实世界的运动。在这里，延世大学Jong-Hyun Ahn教授&香港理工大学柴杨教授等人展示了光电晶体管阵列可以在感觉终端直接感知不同类型的运动，模拟昆虫视觉系统的非尖峰分级神经元。MoS2光晶体管浅捕获中心的电荷动态模拟了分级神经元的特性，信息传输速率达到 1200 bit s-1，并能有效地编码时间光信息。使用 20 x 20 光传感器阵列检测视野中的轨迹，从而有效感知移动物体的方向和视觉显著性，并通过四层神经网络达到 99.2% 的识别准确率。通过调节 MoS2 浅捕获中心的电荷动态，传感器阵列能以 101至 106毫秒的时间分辨率识别运动。相关研究以“Optoelectronic graded neurons for bioinspired in-sensor motion perception”为题发表在Nature Nanotechnology期刊上。

图文导读

Fig. 1 | Agile motion perception of the insect visual system.

Fig. 2 | Artificially graded neurons for encoding temporal vision.

Fig. 3 | In-sensor motion perception with an optoelectronic graded neuron array.

Fig. 4 | Action recognition based on bioinspired vision sensors and conventional image sensors.

总结与展望

在这项工作中，作者通过实验研究了用于传感器内敏捷运动感知的光电分级神经元。通过模拟昆虫视觉系统的分级神经元，单个生物启发视觉传感器可以在时域中有效地响应和编码光刺激。我们使用二维(2D)原子薄半导体来模拟光电分级神经元阵列，该阵列可在感觉终端编码时空运动信息。传感器内融合的时空运动信息被输入到一个微型四层感知器中，该感知器对移动球轨迹的识别准确率高达 99.2%，而传统的图像传感器很难通过如此微型的网络实现这一目标。此外，通过调节人工分级神经元的电荷捕获动态，20 x 20 传感器阵列可有效感知不同速度的运动。

MoS2 光晶体管浅捕获中心的电荷动态使硬件设备能够表现出亚线性光电响应和高信息传输速率，从而模拟非尖峰分级神经元的特性。人工分级神经元能够在单像素级别直接感知和编码时间信息。生物启发视觉传感器阵列可以编码时空视觉信息并显示轨迹轮廓，从而在硬件资源有限的情况下实现运动感知。通过对时空信息进行编码并将压缩图像输入人工神经网络，动作识别准确率达到 99.2%，远高于传统图像传感器的识别准确率(约 50%)。因此，生物启发视觉传感器能在有限的计算资源下提供传感器内运动感知，从而实现敏锐的动作识别。

文献链接

Optoelectronic graded neurons for bioinspired in-sensor motion perception

https://doi.org/10.1038/s41565-023-01379-2

转自：“i学术i科研”微信公众号

如有侵权，请联系本站删除！