超低功耗的自供电机器视觉传感器

研究背景

在传统的机器视觉系统中，视觉信息由模拟相机捕捉，然后转换为数字信号供存储单元和之后的计算单元使用。在基于冯-诺依曼架构的传统计算单元中，处理器和存储器的分离导致矩阵乘法处理过程中的巨大延迟和能源消耗，这阻碍了无人驾驶汽车、机器人或工业制造等延迟敏感的应用。用内存计算技术取代冯-诺依曼架构是最方便的策略。但由于内存人工智能(AI)芯片中的模拟处理，它要承受额外的数模转换(DAC)。此外，诚实地传输来自摄像头的冗余数据会导致高耗电。

人类视觉系统给出了一个更好的解决方案。感觉神经元检测模拟光信号并进行第一阶段的图像处理，在人脑视觉皮层进行后续的视觉信号处理之前，数据量大大减少。全模拟处理和减少数据转移导致低延迟和高能效。一个集成光电突触器件形成传感器内计算的神经形态视觉系统被提出，并引发了很多关注。实验证明，通过光电突触器件阵列进行视觉预处理可以提高处理效率和图像识别率。在这些光电突触中，除光导外的光电流是模拟突触重量的首选，因为光伏工作模式使光电流装置不需要消耗能量。以高能源效率为目标，使用自供电的光电器件来构成传感器内的RC是非常有吸引力的，但由于光电流的瞬时特性，还没有实现。

研究成果

由于延迟和能耗的降低，一个集成了光电突触来执行传感器内计算的神经形态视觉系统正在引发一场革命。这里证明了光子产生的载流子在空间电荷区的停留时间可以通过在肖特基能垒的肩部嵌入一个势阱来有效延长。它允许由时空光信号刺激的光电流的非线性相互作用这对传感器内储层计算 (RC) 是必要的。由设计的自供电的 Au/PIVDF-TrFE)/Cs2AgBiBr6/ITO器件构成的传感器库的机器视觉能够胜任静态和动态视觉任务。它显示了 99.97%的人脸分类和 100%的动态车流识别的准确率。传感器内的 RC 系统利用了储能器中近乎零的能量消耗，从而使训练成本比传统的神经网络低了几十年。这项工作为使用光子设备的超低功率机器视觉铺平了道路。相关研究以“Ultralow-Power Machine Vision with Self-Powered Sensor Reservoir”为题发表在Advanced Science期刊上。华东师范大学段纯刚、彭晖、田博博教授为通讯作者。

图文导读

Figure 1. Schematics of machine vision systems.

Figure 2. Tunable EPSC in Cs2AgBiBr6 photonic synapses.

Figure 3. The nonlinear and spatiotemporal-linked EPSC and device variation.

Figure 4. In-sensor RC using Cs2AgBiBr6 photonic synapses.

Figure 5. Face image classification by the In-sensor RC system.

Figure 6. In-sensor RC for detecting vehicle flow.

总结与展望

在这项工作中，作者通过实验证明，通过在Au/P(VDF-TrFE)/Cs2AgBiBr6/ITO 器件的肖特基能垒肩上嵌入一个势阱，可以实现响应时空光信号的强大的非线性互动。通过外部电场的偏振反转，可调控的光电流使Cs2AgBiBr6光子突触对传统的传感器内计算具有吸引力。除此之外，这些由光信号直接触发的非线性和时空关联的光电流被有意用来构成一个传感器内RC 系统。图像处理 (人脸分类)和动态视频分析 (车流识别)都是以高精确度的方式节能实现的。此外，由于Cs2AgBiBr6光子突触的无电压光伏工作模式，原则上近乎零能量消耗。此外，通过将空间信息编码为时间信号，只需要在传感器内 RC 系统中训练一个更小的网络。因此，所提出的基于Cs2AgBiBr6光子突触的自供电传感器 RC 的机器视觉具有低能耗的显著优势。

文献链接

Ultralow-Power Machine Vision with Self-Powered Sensor Reservoir

https://doi.org/10.1002/advs.202106092

转自：“i学术i科研”微信公众号

如有侵权，请联系本站删除！