清华大学戴琼海院士团队《自然·通讯》：手机中紧凑的大景深集成显微镜为微型化高性能成像以及便携式诊断应用提供新思路

显微镜是了解微观世界的一个不可缺少的工具，它促进了基础生物学、系统神经科学和临床诊断的多样化应用。大多数显微镜需要台式光学仪器，十分笨重且价格昂贵，严重阻碍了其应用规模和范围。尽管微型化集成技术和深度光学技术的发展促进了低成本生产和性能的提升，但受到微观应用中越来越大的解空间和像差的影响，在简单光学系统中实现大视场、大景深成像仍然面临巨大的挑战。因此，能够克服上述限制的微型化高性能成像系统设计框架还有待探索。

2023年7月11日，清华大学自动化系戴琼海院士团队在《Nature Communications》期刊在线发表了题为“Large depth-of-field ultra-compact microscope by progressive optimization and deep learning”的工作。该研究提出了一种渐进优化路线，并报告了一种大视场、大景深、低成本的集成显微镜。该集成显微镜将景深扩展至商用显微镜（5×，NA 0.1）的10倍以上，并保持了仅0.15cm3的尺寸和0.5g的重量，在尺寸上相较于传统台式显微镜压缩了5个数量级。此外，系统总成本不超过10美元，可用于大规模生产。得益于体积小、重量轻的优势，这种集成显微镜能够无缝配备到移动手机中，在无需额外配件的情况下即可实现便携式诊断应用。

为了在集成化平台上实现高质量成像，并且保证尺寸最小化和景深最大化，必须解决来自几何像差、分辨率-景深困境以及色差的关键性挑战。为了解决这些问题，本文提出了一个渐进式优化路线（图1），充分结合了光线追踪优化方法和深度光学优化方法的优势，首先利用传统光学设计的优点缩小整体设计空间，实现性能合理、尺寸紧凑的集成透镜设计，然后联合优化透镜和编码衍射光学元件（DOE）以实现景深扩展，最后联合神经网络优化DOE参数配置，以实现最佳性能。

在第一轮优化中，使用多维耦合优化设计，以实现宽波长内等效的调制传递函数（470-650nm），并采用塑料材料以及非球面透镜来有效地减少色差，在不使用双胶合透镜的情况下保持外形紧凑，并结合自适应梯度下降法优化表面形状以减少像差。第二轮优化中，在镜头系统的光瞳面放置一个具有立方相位分布的DOE，以增强点扩散函数的深度不变性。对于每个DOE参数和镜头表面配置，训练一个神经网络以实现300μm景深范围内的高质量重建，选择成像质量最佳的配置作为最终设计。

本文在最后的优化阶段加入了一个深度神经网络，以实现从DOE编码的原始图像中实现高质量的图像恢复。由于实际拍摄中很难捕捉到不同深度下保持清晰锐利的真实图像，文章中通过仿真-监督方法完成图像恢复任务（图2）。首先使用标准的5×台式显微镜，通过电动位移台捕捉不同深度的图像，然后利用图像融合技术，将每个失焦图像中的清晰部分拼接起来，形成整个景深范围内清晰的融合图像作为用于神经网络训练的目标图像；另一方面，然后通过设计的集成显微镜对失焦的图像进行数字传播，模拟相应的模糊捕捉过程，然后将不同的失焦编码图像结合起来作为神经网络的输入图像（图2a）。仿真生成的输入和标签形成训练对，以端到端的方式进行神经网络的训练和推理，从模糊的捕获中恢复清晰的图像（图2b）。

将集成显微镜装备到手机中，可以实现基于移动平台的大景深成像。将手机显微镜与传统显微镜对真实场景中的样本进行成像（图3），可以发现，手机显微镜拍摄到的黄花图像在不同深度位置均表现出相似的高性能，而传统的显微镜成像结果只能在靠近焦平面的一个小区域内保持清晰的高质量成像结果，在失焦位置图像质量明显下降，进一步证明了手机中集成显微镜的性能优势。

为了证明集成显微镜的独特优势，将该集成显微镜整合到商用手机中用于移动健康监测，为便携式的诊断提供了一个新的方向。通过一个示例，文章展示了集成显微镜助力于监测皮肤角质层的含水量的应用（图4），这是监测皮肤健康的一个关键因素。文章中使用一个轻量化的分类神经网络，其输入是手机显微镜拍摄的显微皮肤图像，输出是含水量水平，结合定制化的应用程序提醒用户含水量的减少以及提供关于皮肤保护的快速建议。

综上所述，本文提出了一种有效的渐进式优化方法，充分利用了最先进的光学设计技术和基于物理学的深度学习图像恢复方法。首先利用基于光线追踪的优化来缩小搜索空间，然后联合优化光学和算法，实现一体化的显微镜设计，达到了台式显微镜的性能，但尺寸却小了五个数量级，重量也减少了四个数量级。联合优化的深度神经网络以仿真-监督的方式进行训练，实现了高质量的图像恢复。经过逐步优化后的集成显微镜在Φ3.6mm的视场范围内实现了3μm的分辨率，景深为300μm，比一般显微镜的景深大10倍左右。全面的优化大大减少了尺寸和重量，而不影响任何性能，甚至可以集成到手机中用于健康监测。文章提出的渐进式优化路线通过在一个完整的设计流程中利用非球面光学、计算成像和深度学习的优势，为光学设计带来了新的启示。

来源：BioMed科技

转自：“高分子科学前沿”微信公众号

如有侵权，请联系本站删除！