NBT (IF=68) | 再取进展！李栋/戴琼海等开发合理化深度学习的超分辨显微成像技术

生物体的正常运作依赖于一系列时空协调的细胞和亚细胞活动。观察和记录这些现象被认为是了解它们的第一步。用光学显微镜成像生物过程的目的是以最少的侵入性获得最多的时空信息。深度神经网络在很大程度上改进了光学显微镜，包括图像的超分辨率和复原，但在人工制品方面仍有很大潜力。

2022年10月6日，中国科学院生物物理研究所李栋、清华大学自动化系戴琼海与美国霍华德休斯医学研究所（HHMI）Jennifer Lippincott-Schwartz在Nature Biotechnology 杂志在线发表题为“Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes”的研究论文，该研究通过整合照明模式的先验知识，将光学成像模型及物理先验与神经网络结构设计相融合，结合高速晶格光片显微镜(lattice light sheet microscopy, LLSM) 开发了合理化深度学习(rationalized deep learning, rDL) 显微成像技术框架，从而实现了高性能、高保真的显微图像去噪与超分辨重建。

研究进一步证明了rDL照明显微镜消除了光谱偏差引起的分辨率退化，将模型的不确定性降低了五倍，超分辨率信息比其他计算方法提高了十倍以上。并通过对高速摆动纤毛（>30Hz）中转运蛋白（IFT）的多种运输行为以及完整细胞分裂过程中核仁液液相分离过程证明了rDL的实用性。

另外，2022年9月26日，清华大学戴琼海、方璐和清华大学深圳国际研究生院王好谦团队合作在Nature Biotechnology杂志在线发表题为“Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit”的研究论文。为了实现超出散粒噪声限制的高灵敏度荧光成像，该研究提出一种用于实时噪声抑制的自监督深度学习方法——DeepCAD-RT。基于该团队之前开发的DeepCAD技术的框架，将网络参数数量减少了 94%，内存消耗减少了 27 倍，处理时间减少了 20 倍，从而可以在双光子显微镜上进行实时处理。可以使用比标准成像方法少十倍的光子获得高成像信噪比。总之，DeepCAD-RT 将以最小的光子预算促进生物动力学的形态和功能检查（原文链接）。

荧光显微镜对于阐明活细胞中各种生物过程的动力学和功能是必不可少的。最近发展的超分辨率 (super-resolution, SR) 技术增强了它的能力。然而，任何SR方法的空间分辨率的提高都伴随着与其他成像指标的权衡，这些对理解生物过程同样重要。

结构光照明显微镜 (structured illumination microscopy, SIM) 通常被认为是活细胞成像的最佳SR方法，因为它需要较少的原始图像和较低的照明强度比其他SR技术。尽管如此，SIM相关技术通常需要每个原始图像有一个合适的信噪比(SNR)，以防止重建工件。因此，光漂白和光毒性限制了现有SR-SIM技术的成像性能。

除了显微镜硬件的进步，计算方法在光学显微镜图像恢复和增强方面也变得越来越重要。传统算法采用带有一定假设的分析模型对SR图像进行迭代恢复/去噪。然而，显微镜成像是一个统计上复杂的过程。因此，手工制作的分析模型受到其假设精度的限制，常常导致空间和时间分辨率的损失。

深度神经网络 (deep neural networks, DNNs) 不仅能够学习伪逆函数的图像变换过程，以及随机特性的良好解决方案，利用成对的端到端变换图像。

在这项研究中，研究人员为SIM和LLSM开发了rDL方法。rDL网络架构与现有的用于图像转换的DNN不同，它将每种显微镜技术的预表征物理模型 (例如，SIM中使用照明模式的知识) 整合到网络中，以指导网络训练，并将网络输出调节到比其他方法更接近GT (ground truth) 的低维流形。

研究人员没有减少重构SR图像中嵌入的伪影，而是应用rDL SIM模型去噪衍射受限的原始SIM图像，确保通过传统算法进行高质量重建，同时消除最终SR图像中光谱偏差引起的分辨率下降。此外，研究人员利用生物成像采样在时间或空间领域的连续性，开发了一种时间/空间交错的自我监督机制，在不需要GT图像的情况下实现rDL LLSM去噪。研究进一步证明，rDL SIM和rDL LLSM能够对十多种生物过程进行高时空分辨率和长期观察。

总之，该研究描述和演示的rDL方法满足了之前未满足的需求，即在超高空间和时间分辨率、高保真度和长时间可量化的情况下，对细胞内动态进行微创2D/3D成像。rDL方法的实施和改进为揭示多种生物现象展示了巨大希望。

清华大学自动化系乔畅、中国科学院生物物理所李迪、刘勇和张思微为该论文共同第一作者。

原文链接：

https://www.nature.com/articles/s41587-022-01471-3

转自：“iNature”微信公众号

如有侵权，请联系本站删除！