突触器件又一Nature大子刊——用于运动监测和识别

以下文章来源于Artificial Synapse ，作者Synapse

研究背景

运动检测与识别(MDR)已成为智能家居、人工视觉、安全监控、无人驾驶汽车和军事防御等各种智能场景的核心需求。目前最先进的 MDR 硬件系统主要由互补金属氧化物半导体(CMOS)图像传感器(CIS) 平台构成，该平台由独立余的像素传感阵列、模数转换器存储器和处理模块组成。然而，传统的 CIS 芯片需要大量附加模块，不同模块之间的数据转换、传输、存储和处理操作也一分复杂，而先进的智能应用则追求端口和效率。

人类视网膜获取运动信息的效率很高，各功能层的神经元和突触细胞在视觉信号的感知、转换、传输和提取方面发挥着明显的作用。视网膜通过先进视觉系统的综合信号感知、记忆和处理，消除了几余和无用的视觉输入处理大大加快了运动目标特征的提取和检测速度。目前，受视网膜启发的视觉传感器不断涌现，其功能材料从记忆性氧化物到二维(2D)材料及其异质结构不等。其中，二维材料的导电性能对外部光学刺激敏感，这使其能够感知光学信息，并将其转换为电信号进行传输和处理，与视网膜类似。与分立的CIS 模块不同，视觉传感器集成了光学信号传感和计算能力，可进行静态图像处理。不过，除了静态图像外，具有记忆功能的视网膜还显示出时间分化功能，使其能够感知静态和移动目标。没有记忆能力的视觉传感器无法提取和处理运动信息，仍然不是真正的视网膜仿真硬件。简而言之，目前的视网膜拟态技术仅限于初级静态图像处理，而基于紧凑高效设备的高级复杂运动特征提取和检测技术仍有待开发。

研究成果

随着物联网时代的到来，移动物体的检测和识别变得越来越重要。目前，基于互补金属氧化物半导体(CMOS) 图像传感器 (CIS)平台的运动检测和识别(MDR) 技术包含余的传感、传输转换、处理和存储模块，因此与人类视网膜相比，现有系统既笨重又低效。迄今为止，不具备记忆功能的视觉传感器仅用于静态目标，而非 MDR。在此，中国科学院上海技术物理研究所胡伟达研究员与复旦大学微电子学院周鹏教授等人介绍了一种基于视网膜启发的二维(2D)异质结构视网膜形态硬件设备，该设备集感知、记忆和计算功能于一身，可用于检测和识别移动的手推车。所提议的二维视网膜形态设备可感知光学刺激，产生可逐步调整的正/负光反应，并将其记忆下来，再结合帧间差分计算，从而实现对移动的三色手推车的 100% 无重影分离检测。检测到的运动图像被输入电导映射神经网络，在 10%的噪声水平下，只需 4 个训练历时就能实现快速手推车识别，优于以往类似定制数据集的结果。集成了感知记忆和计算功能的二维视网膜设备原型演示为构建紧凑、高效的 MDR 硬件提供了可能。相关研究以“All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition”为题发表在Nature Nanotechnology期刊上。

总结与展望

总之，作者充分利用了二维材料中的一体化潜能，提出了二维视网膜器件，可直接实现紧凑高效的 MDR 硬件。一体化视网膜器件具有可控的 PPC 和 NPC 光电特性，与视网膜功能类似，分别对应于开/关状态。通过重新组合开/关状态，可以实现运动检测和边缘检测，而无需冗余和大量的信息交互。多态光电导的优先线性特性有助于将拟议的视网膜拟态设备映射到 CNN，从而实现快速、成功的识别。一步式视网膜形态 MDR 设备具有一体化的感知、记忆和计算能力，可扩展为智能物联网和人眼仿生设计应用提供多种可能性。

文献链接

All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition

https://doi.org/10.1038/s41565-021-01003-1

转自：“i学术i科研”微信公众号

如有侵权，请联系本站删除！