清华大学集成电路学院高滨课题组提出一种融合随机数生成的存算一体计算技术，高效实现概率机器学习算法

以下文章来源于未来芯片技术高精尖创新中心 ，作者跨学科交叉融合的

近日，清华大学集成电路学院高滨课题组和清华大学计算机系朱军课题组合作一起完成了一项科研工作，提出了利用忆阻器物理实现贝叶斯深度神经网络（Bayesian deep neural network, BDNN）高斯权重的方法，在忆阻器交叉阵列中同时实现了矩阵向量乘法和实时的原位随机数生成。此外，利用器件的电导随机性，提出了基于忆阻器的变分推断离线训练方法和不确定性估计方法。最后，在设计的新型类脑硬件系统ESCIM（Expandable Stochastic Computation-In-Memory system）上，成功进行了风险感知强化学习任务的演示，实现了两个数量级的能耗降低和一个数量级的速度提升。

图一：在现实场景中用于不确定性估计的贝叶斯深度神经网络

许多基于概率机器学习算法的先进人工智能任务，如策略优化、智能医疗和自主驾驶，需要高带宽的数据传输和概率计算，给传统的计算硬件带来了巨大的挑战。基于冯-诺依曼架构的数字计算平台擅长精确和确定性的计算，但由于内存和计算单元之间的数据传输和大量随机数生成的高成本，其计算效率受到了限制。近年来备受关注的忆阻器在存算一体技术和随机数生成领域有着广泛的研究，有望实现融合随机数生成的存算一体计算技术，从而高效实现概率机器学习算法。

清华大学集成电路学院高滨课题组与清华大学计算机系朱军课题组合作，从中心极限定理出发，提出了一种利用忆阻器读取电导的随机性和存算一体特性实现高斯权重的方法，在同一阵列中实现了原位随机数生成和矩阵向量乘功能，进一步构建了可拓展的多阵列随机计算硬件系统ESCIM，以高效加速概率机器学习算法。

图二：高斯权重的实现方法（左图）

构建的可拓展的多阵列随机计算硬件系统ESCIM（右图）

为了高效地实现机器学习算法并保证其基本性能，课题组通过结合忆阻器随机特性和传统变分推断算法，开发了一种利用忆阻器随机特性的变分推断离线训练方法。此外，课题组量化分析了权重失配和弛豫效应对网络性能带来的影响，并提出了一种补偿漂移电流的方法。最后，课题组利用读电流一次性的特点，设计了一种利用忆阻器的读循环随机特性来实现不确定性估计的方法。

图三：利用忆阻器随机特性的离线训练方法（上图）

利用蒙特卡洛方法分解不确定性示意图（下图）

为了验证提出方法的可行性，课题组设计了一个四层的忆阻BDNN，在ESCIM系统上成功演示了一个典型的风险感知强化学习任务，即“风暴海岸”任务。

在该任务中，智能体控制其划桨以尽可能地接近海岸线上的目标旗帜位置，但是海面上季风和海浪都会产生干扰，智能体需要一个划桨动作策略与风浪搏斗。智能体应基于收集到的数据集，利用忆阻BDNN学习海洋环境的环境近似模型。该环境近似模型输入当前状态和采取的动作，则可预测小船下一个转移到的状态。由于数据集缺乏部分海域的信息和海洋环境中的随机海浪，因此该任务中需要估计认知不确定性和偶然不确定性，进而学习到风险感知的划桨动作策略。实验证明，该计算系统可以通过利用忆阻器的固有随机性，有效地估计风暴海岸任务中的不确定性大小。同时，课题组在分布外样本的检测任务中进行了仿真验证，进一步说明了提出方法的可行性和可扩展性。最后，评估结果表明，与传统的GPU相比，ESCIM系统在不确定性估计方面减小了10倍的计算延迟和150倍的能耗。本工作所构建的忆阻BDNN原型系统有望为未来实现高性能的概率机器学习硬件提供一定的理论与技术指导。

图四：“风暴海岸”任务示意图

近期，该项工作的相关研究成果以“Uncertainty quantification via a memristor Bayesian deep neural network for risk-sensitive reinforcement learning”为题在《自然•机器智能》（Nature Machine Intelligence）上在线发表。该研究工作由清华大学集成电路学院高滨课题组和清华大学计算机系朱军课题组共同合作完成。清华大学集成电路学院高滨副教授、吴华强教授是本论文的共同通讯作者，林钰登和张清天为共同第一作者。该研究得到了科技创新2030“脑科学与类脑研究”重大项目、国家自然科学基金委杰青项目和重点项目、北京集成电路高精尖中心等项目的支持。

清华大学集成电路学院钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体技术研究，从器件制备、工艺集成、电路设计及架构与算法优化等多层次实现创新突破，先后在《自然》（Nature）、《自然纳米技术》（Nature Nanotechnology ）、《自然电子》（Nature Electronics）、《自然通讯》（Nature Communications）、《科学进展》（Science Advances）、《先进材料》（Advanced Materials）等顶级期刊以及国际电子器件会议（IEDM）、国际固态半导体电路大会（ISSCC）等领域内顶级国际学术会议上发表多篇论文。

论文链接

https://www.nature.com/articles/s42256-023-00680-y

来源 | 未来芯片技术高精尖创新中心

转自：“创新清华”微信公众号

如有侵权，请联系本站删除！