研究背景
机器视觉已经发展了几十年，现在已经发展成为众多智能系统中不可或缺的一部分，例如自主机器人和车辆。经典机器视觉系统从图像传感器、模数转换器 (ADC)、存储单元到计算单元的路径可以基于传统的 CMOS 技术实现，其中光传感器将照射在每个像素上的光转换为电压信号，ADC 将放大和去噪后的数据二值化，存储器存储二进制信息，计算单元执行最终识别和分类。由于在存储器和计算单元之间的数据洗牌导致的高延迟和低效功耗，目前的硬件实现的机器视觉系统仍无法普遍且稳健地解决主要问题，包括基于视觉的导航、物体识别、活动识别和运动检测。
与传统的人工视觉系统相比，自然界的眼睛以小而精致的光学几何结构显示出高质量的图像捕捉和识别能力。因此，人们模仿自然界眼睛的独特结构和机理，广泛开发了各种生物启发的人工视觉系统，包括两栖(蟹眼型)人工视觉、水生 (鱼眼型)人工视觉等并取得了卓越的性能。灵长类动物视觉系统的特点是能够轻松完成一些高级功能，如对大范围物体、场景和活动的识别和分类，具有全向视野和宽带响应。生物视觉系统通过视网膜将光信号编码为神经尖峰，并通过视觉皮层进行处理(图 1a)，从而实现了高速和超低能耗。深入了解视觉通路各部分在视觉感知中的功能，可以提高机器视觉的鲁棒性和通用性。显然，视觉信息的不同特征在视觉系统的不同层次进行处理，RF 覆盖视野的不同区域。感知系统上层的视觉神经元以较小的射频提取相对简单的图像特征，包括运动、方位和不等度等，然后汇聚到视觉系统上层的神经元，以较大的射频提取更复杂的特征。
在方法学发展的推动下，对从视网膜细胞到灵长类视觉皮层细胞的视觉通路的深入理解在过去几年中取得了巨大进步。视觉系统的显著特征包括视网膜中异常多的神经元层以及皮层区域和功能之间的精确联系，这些都为人工视觉带来了令人兴奋的灵感。要在硬件上加速实现更节能、更逼真的人工视觉，就必须采用能够模拟视觉通路各部分功能的神经形态设备和电路 (图 1b)。
研究成果
人工智能的发展对基于传统互补金属氧化物半导体(CMOS)电路的机器视觉提出了挑战，因为它的高延迟和低功耗源于存储器和计算单元之间的数据洗牌。更深入地了解视觉通路各部分在视觉感知方面的功能，可以提高机器视觉在鲁棒性和通用性方面的能力。要想在硬件上加速实现更节能、更逼真的人工视觉，就需要能够模拟视觉通路各部分功能的神经形态设备和电路。在本文中，深圳大学Su-Ting Han教授等人回顾了从视网膜到灵长类视觉皮层的所有视觉神经元的结构和功能(第二章)。在提取生物学原理的基础上，详细讨论了最近通过硬件实现的位于视觉通路不同部分的视觉神经元(第三章和第四章)。此外，还尝试在不同场景中提供有价值的人工视觉应用(第五章)。视觉通路的功能描述及其启发的神经形态设备/电路有望为下一代人工视觉感知系统的设计提供有价值的见解。相关报道以“Hierarchies in Visual Pathway: Functions and Inspired Artificial Vision”为题发表在Advanced Materials期刊上。
图文导读
Figure 1. Schematic diagram of the biological visual pathway and the artificial visual processing system.
Figure 2. An illustration of the structure and signal transmission process of mammalian retinal cells.
Figure 3. The transmission path of visual information in the LGN and visual cortex.
Figure 4. Neuromorphic devices integrated with photodetectors perform the function of photosensors.
Figure 5. Implementation of photonic memory based on materials and unique structures.
Figure 6. Realization of the multi-color identification.
Figure 7. Implementation of self-adaptation based on charge capture and de-capture.
Figure 8. Implementation of self-adaptation based on combinational circuits and active photoadaptation.
Figure 9. Emulation of bipolar cells with opposite photoresponses.
Figure 10. Emulation of ganglion cells with information coding functions.
Figure 11. Simulation of the retinal horizontal pathway by neuromorphic devices.
Figure 12. Advances in device simulation for bars and gratings detection in the visual cortical area V1.
Figure 13. Hardware simulation of the directional selectivity function for the V1 area.
Figure 14. Simulation of the performance characteristics of the V2 domain.
总结与展望
现有主流机器视觉系统的主要特点是通过基于ANN 的机器学习进行实时计算(识别或分类)其灵感来自哺乳动物的视觉认知过程。基于冯-诺依曼计算架构的机器视觉以高度顺序的方式处理视觉信息，并采用低内存带宽操作。GPU 的进步扩展了并行性，但仍受到带宽的限制，这对高内存密集型工作负载提出了挑战。此外，基于冯-诺依曼架构的机器视觉系统遵循的设计原则与生物视觉系统大相径庭。新兴的传感器内计算能够将视觉信息存储为传导状态，并实现 ANN 任务计算，从而减轻了传感器-内存-处理器接口的数据洗牌。然而新兴传感计算的生物启发部分只是整合了光传感器和突触的功能。低级传感计算利用从STP到LTP 的转换来抑制噪声、增强对比度和提取边缘，而高级传感计算则利用光可编程网络来简单加速矢量矩阵乘法，在这些方面生物启发原理仍然不够。
增加更忠实的生物特征(如双极细胞的拮抗功能、纹状体皮层神经元的方向选择性、水平细胞的抑制行为和光感神经元的适应性等)有望确保人工视觉的计算更加生物逼真。此外，集成了更多生物特征的人工视觉有望对设备的材料缺陷、可变性和随机性具有更强的鲁棒性从而实现整个系统的灵活性。本文综述了从视网膜到灵长类视觉皮层的视觉通路不同部分的基本结构和功能，以及相应的用于各种视觉信息处理和潜在计算应用的启发神经形态器件。这篇综述主要集中在提取的生物学原理在器件层面的硬件实现，我们试图找出模拟特定视觉功能的关键器件参数 (刺激模式、可调突触特性、光致发光性、能耗等)。我们相信，对视觉感知系统(如感受野的收敛过程、视网膜层数、中间连接结构等)的深入理解将有效推动基于硬件的人工视觉的具体设计。
受视觉通路分层结构启发的人工视觉为克服传统机器视觉的局限性提供了一种极具潜力的方法。要成为下一代信息技术的可行解决方案，仍有许多技术问题需要解决。首先，视觉通路不同部分执行的单个基本操作显然是视觉系统进行视觉处理的核心。生物学家应努力揭示视觉通路中较少被人了解的神经元和区域，例如尚未被探索的灵长类动物皮层中的 V3 区域和视网膜中的杏仁核细胞。神经活动和行为反应之间的关系应通过神经生理学评估、病变或药理学方法以及电微刺激技术来直接表征。其次，设备的可重复性和可变性是模拟视觉系统分离信息通道的主要挑战，因为特定视网膜神经元或皮质神经元的发达感受野应被映射到具有高产量和精确控制电导的设备阵列中。控制场效应晶体管器件沟道形成过程和忆阻器电铸过程的随机性对于减少差异至关重要。通过材料选择和器件工程，抑制外在吸附剂/杂质和内在缺陷，包括晶界、空位和界面缺陷，对于提高周期间和器件间的一致性至关重要。第三，已报道的硬件实现的人工视觉功能仅限于识别静态的二维形状物体，主要是模仿处理不同视觉模态(包括颜色和二维形状等)的功能。与腹侧流相比背侧流主要处理动作视觉而三维形状则是模拟的短板。运动和三维形状的分析沿着视觉通路的层次进行，从 V1 区到中题区(二维运动)再到内侧上题区 (与环境协调的运动、自我运动)。更复杂的特征需要更大的感受野和更多的空间整合，这表明对感受野的形成过程和视觉通路内不同部分的协调有很高的要求。因此，通过硬件实现人工视觉以实现三维形状和视觉运动识别等复杂任务将需要跨学科的努力。第四，先进成像系统和视觉处理系统的集成是复制自然眼睛功能的必要过程。生物中两种典型的成像系统:单眼和复眼在高分辨率成像、宽视场和焦距可调方面具有优势，并激发了各种光学元件(可调透镜、微镜阵列、抗反射纳米结构等)的发展。成像和处理系统之间更多的羯合集成要求制造技术具有更高的精度和材料兼容性。最后，视觉通路的生物特征和功能对开发神经形态器件和电路以实现实时、低延迟和低功耗的机器视觉系统有很大启发。作者总结了在动态环境条件下探索更多具有宽带/独特带吸收、高光敏性、高光致发光性、双极/单极光致发光性、丰富的时空动态和高变化余量的生物现实主义基本器件是必不可少的一步。例如，具有可定制分子特性的有机材料可集成到具有超弱光检测功能的神经形态视觉传感器中。据报道，具有内在动态特性和独特光电特性的 钙钛矿材料可用于具有无滤光片彩色视觉功能的三维神经形态仿生眼。具有可调带隙和强光-物质相互作用的二维范德华异质结构被用于模拟视觉系统中的宽带卷积处理，具有铁电和光电过程紧密耦合的二维铁电材料被用于实现多感官融合的异突触可塑性。具有相互连接的忆阻结的纳米线有利于实现神经形态设备以模拟视觉通路中的高阶认知功能。
此外，在具有更强适应性和认知行为的分层视觉系统中模拟分布式处理，可以优化对复杂信息的分析。与三端晶体管这种具有零阶复杂性的静态元件相比，多变量忆阻器能够通过开关材料的电-物理-化学过程，模拟视觉通路中具有高阶复杂性的部分生物仿真功能。由于双端忆阻器仍然表现出低动态范围、高非线性/不对称、高可变性和有限自由度等非理想器件特性，多端忆阻器可能是为神经形态器件引入更多变量和生物仿真行为的更好策略。
主流机器视觉遵循的设计原则与灵长类动物大相径庭。本综述鼓励开发灵活且多功能的基于硬件的神经形态设备，这些设备可进一步集成到人工视觉系统的分层架构中，以实现各种应用。除了静态物体识别/分类、动态运动检测/识别以及视觉引导机器人、颜色验证和条形码读取、分拣等常规应用中更高级的导航/操纵外，人工视觉还为人机界面的构建提供了潜力。超低电压驱动的神经形态器件可以由视觉通路中的生物细胞驱动，建立一个完整的神经递质通信回路，具有神经递质释放闯值和备用编码功能。
文献链接
Hierarchies in Visual Pathway: Functions and Inspired Artificial Vision
https://doi.org/10.1002/adma.202301986
转自：“i学术i科研”微信公众号
如有侵权，请联系本站删除！
