精密仪器系类脑团队邓磊课题组提出集成时域树突异质性的新型脉冲神经网络

编 者 按

近日，清华大学精密仪器系类脑计算团队邓磊课题组提出了集成时域树突异质性的新型脉冲神经网络模型。该成果近日以“Temporal dendritic heterogeneity incorporated with spiking neural networks for learning multi-timescale dynamics”为题在期刊《自然·通讯》（Nature Communications）上发表。

研究背景与成果

在通往人工通用智能的探索路上，类脑计算受到广泛的关注，通过借鉴脑科学原理，从模型算法、软硬件架构、应用系统等多个层面突破现有人工智能和计算机技术。脉冲神经网络（Spiking Neural Network，SNN）是类脑计算领域的重要的模型，被称作第三代神经网络。SNN充分模拟大脑神经细胞行为特性，拥有丰富的时空域动力学复杂性和脉冲事件驱动高效率等特点，具有表达和处理复杂时空信息的潜力，并能在类脑芯片平台上进行部署，实现并行低功耗运行。

由于具有丰富的时空动力学特性，SNN被广泛认为具有处理时序信息的能力，但实际上目前SNN在复杂时序任务上仍表现不佳。现有SNN领域采用最广泛的基本神经元模型是Leaky Integrate-and-Fire (LIF)模型，仅仅简单模拟了神经元在胞体部分的动力学机制，受单一时间因子的建模约束缺乏处理多时间尺度时序信息的能力。然而， 真实环境中的时序传感信号通常呈现多时间尺度、长时程、含噪等复杂特性，这导致现有SNN模型处理这类信号存在准确率低、泛化性和鲁棒性不足、难学习等缺陷。如何充分利用SNN模型的动力学特性解决复杂的时序信号计算任务，并揭示这种信号处理能力的内在工作机制，研究还比较匮乏。

具体而言，复杂时序信号通常呈现可变的时间尺度和宽频谱特性。脑神经网络具有处理跨时间尺度信息的天然能力，如能轻松识别不同语速说话内容和不同速度运动物体，其机制值得被借鉴。神经科学家在大脑的神经环路和响应特性中发现其中存在巨大的时域异质性，即不同区域具有不同的时域行为特性以针对性解决不同问题成分，例如神经元间异质性、树突间异质性和突触间异质性等。神经元间异质性过于简单，而突触间异质性过于复杂，树突间异质性是折中的一种较好形式，但由于不合理建模、高计算成本和学习算法缺失等问题，如何将时域树突异质性有效地集成至SNN模型并提高其在时序计算任务中的实际性能，仍是一个待解决的问题。

为解决上述挑战，本文提出了一种集成时域树突异质性的新型脉冲神经元模型（DH-LIF，图1）。同时，将DH-LIF神经元模型扩展到网络级别（图2），提出了时域树突异质性脉冲神经网络（DH-SNN）模型，包括具有前馈连接的网络模型（DH-SFNN，图2左）和具有反馈连接的网络模型（DH-SRNN，图2右）。基于BPTT学习算法，本文进一步提出了适用于DH-SNN的高性能学习算法。通过在神经元的不同树突分枝上自适应学习不同的时间因子，使得不同树突分枝可以捕捉不同时间尺度的时序特征，从而在网络级别产生多时间尺度的复杂时域动力学。为揭示其内在工作机制，本文提出了多时间尺度时域异或问题作为机理分析基准，发现在DH-SNN的树突分枝间、神经元间、网络层间的跨时间尺度时序特征存在相似的整合作用。这项工作表明，大脑中的时域树突异质性是学习多时间尺度信息的关键，为提高SNN在处理复杂时序计算任务的性能方面提供了一种重要的新思路。

图1. 集成时域树突异质性的新型脉冲神经元模型

图2. 时域树突异质性脉冲神经网络模型——前馈网络（左）和反馈网络（右）

成果优势

相较于传统SNN模型，DH-SNN展现出更好的长程记忆能力和多时间尺度信息的处理能力。在两个语音识别标准数据集（SHD和SSC）上，在相同参数量下，模型准确率随着DH-LIF神经元内树突分枝数量的增加而逐渐提高（图3）。

图3. DH-SNN在语音识别数据集SHD（左）和SSC（右）上的性能表现

同时，在其他语音识别、视觉识别、脑电信号识别和机器人位置识别等广泛的时序任务基准数据集上，DH-SNN相较于传统SNN模型展现了全面的性能优势，能够用更少的参数量实现更高的识别准确率（表1）。

表1. DH-SNN在多种时序数据集上的性能表现

此外，相较于传统SNN模型，DH-SNN展现出更好的抗噪音鲁棒性（图4）以及更好的时间尺度泛化能力。通过对树突连接添加额外稀疏约束，DH-SNN在类脑芯片上可以进行部署并展示高能效（图5）。

图4. DH-SNN的抗噪鲁棒性实验结果

图5. DH-SNN在类脑芯片部署运行

该研究的第一完成单位为清华大学精密仪器系、清华大学类脑计算研究中心。本文第一作者为清华大学精仪系2022级博士研究生郑晗乐，邓磊副教授为该文的通讯作者。该研究得到了科技部科技创新2030-“脑科学与类脑研究”、国家自然科学基金等项目资助。

论文链接：

https://www.nature.com/articles/s41467-023-44614-z

来源：清华大学精密仪器系

转自：“创新清华”微信公众号

如有侵权，请联系本站删除！