光在介质中的本征吸收以及不均匀介质分布带来的散射将导致图像对比度降低、噪声叠加等图像退化问题。当前克服图像退化的方法是借由串行的硬件操作和图像处理算法来实现，而用于硬件算法处理的
数据需要逐帧感知与存储，这将导致存储与硬件操作冗余。为了释放更多的后端计算资源，减少计算冗余来减轻后端运算负担，一种解决问题的有效方案是考虑在传感器端对退化图像进行原位预处理。
近日中国科学院半导体研究所王丽丽研究员课题组报道了一种基于纳米线缺陷工程的原位感算一体视觉传感器，它具有并行光电子存储与图像预处理的功能可以用于应对图像退化问题。该传感阵列可原位实现图像感知，图像存储，图像增强及图像降噪功能。经过原位增强后的图像相较增强前图像的峰值信噪比由原本的152.40dB提升至191.02dB，经过原位噪声过滤后的图像峰值信噪比也提升了7.2%。该原位并行预处理功能阵列能够提升后端计算的效率，经原位预处理的
在人工神经网络的识别准确率提升了32.8%，神经网络的迭代周期缩短77.4%。
图1：视觉传感器阵列集成示意图。(a)纳米线电荷存储缺陷工程。(b)纳米线SEM
。(c)纳米线的差分电荷密度图。(d)视觉传感器的功能演示。
图1介绍了在传感器内原位并行功能的策略，采用级联掺杂的纳米线作为光电半导体，设计底栅晶体管作为成像像素点，通过控制对像素的曝光次数与曝光频率，基于级联复合的光电子存储物理机制来实现数字图像处理方法，以此在像素点内实现直方图均衡的图像增强策略以及平均降噪的图像降噪策略。
图2：器件结构和性能。(a)光电晶体管的构成。(b)光电晶体管的传输性能。(c)光电晶体管的输出特性及开关稳定性。(d)光脉冲激励下的时间分辨光电流。(e)纳米线中光电流的空间分辨映射。(f)纳米线光电晶体管的响应性和比检出率与文献报道的比较。
图2介绍了作为像素点单元的纳米线光电晶体管结构以及基础电学及光电学性能。作为电学元器件晶体管开关比具有6个数量级，在不同栅压极性下输出电流表现出存储、擦除及响应等三种响应状态，光生载流子在纳米线表面均匀分布表达纳米线的吸收同质性，并且在外加偏压场强作用下在源漏级出现局域场驱动光电子积累。该纳米线光电晶体管与其他光电半导体相比具有出色的响应度与比探测率。
图3基于电荷分辨存储的感知器并行函数积分。（a)不同光强度下的光电流。b) 光电晶体管敏感性。（c-d）器件光电流一致性和变频电荷增强。(e)频率灵敏度。(f)噪声滤波的直方图评价和图像显示。(g)纳米线中电子能带结构和态偏密度的DFT计算。(h)纳米线电荷存储的物理模型。
图3介绍了级联复合的光电子存储物理机制的物理表现与来源。随着像素点曝光次数与曝光频率的增加，像素点受高反射强度激励以及在高频激励下具有更大的输出电荷，该物理现象是像素点原位并行预处理功能的物理基础。在图像中的特征物体由于相较环境背景具有更短的光介质传播位移从而被介质吸收的强度较小，因此具有高反射的特征强度。在像素点连续曝光下，具有高反射强度的特征会获得更大的增强率，因此图像的特征物体与背景相比具有更显著的对比度。而在像素点高频率曝光下，图像的特征细节在像素点中原位积累，使得随机噪声在整体的分布上占比更小，从而使噪声图像更加接近原始图像。
图4 视觉传感器的应用验证。（a)光电晶体管的电路结构。（b-c）用于退化成像和预处理的水下测量系统示意图和光学图像。（d)光电流演示。（e)用于特征和环境感知的时变电荷流。（f）双层人工神经网络结构。（g）人工神经网络训练的训练精度。(h-i)随机神经网络训练准确率的比较。
图4介绍了原位并行预处理功能阵列测试系统结构以及传感器端图像处理方案对于后端神经网络算法的计算优化。该原位并行预处理功能阵列通过水下测试验证了液体介质退化图像的对比度增强及噪声过滤功能，原位预处理后的图像在反向传播模型中的图像识别率能够提升32.8%，并且能够将神经网络的迭代周期缩短77.4%。
结果与讨论：
本文设计并开发出一种并行光电子存储与图像预处理功能的级联掺杂纳米线光电阵列。该阵列以级联掺杂的纳米线光电晶体管作为像素单元，通过级联复合的光电子存储物理机制，使得像素点受高反射强度激励以及在高频激励下具有更大的输出电荷，从而在传感器端实现直方图均衡的图像增强策略以及平均降噪的图像降噪策略。该原位并行预处理功能阵列能够有效提升后端计算的效率并减少迭代资源。此阵列有望应用于光扰动退化环境中的高分辨成像畸变的处理。
该研究论文以“Parallel photoelectron storage and visual preprocessing based on nanowire defect engineering for image degradation”为题发表于Advanced Functional Materials 上。该项目研究获得国家自然科学基金、中国科学院等项目的资助。
转自：“高分子科学前沿”微信公众号
如有侵权，请联系本站删除！
