英文原题：Neural network-assisted data processing improved tomography characterizations of reverse osmosis polyamide layers
通讯作者：黄霞，清华大学；沈悦啸，德州理工大学
作者：Danyang Li, Rui Lu, Kunpeng Wang, Yanjie Li, Weichen Lin, Xiao-mao Wang, Yue-xiao Shen, and Xia Huang
近日，清华大学黄霞教授和德州理工大学沈悦啸教授团队利用神经网络辅助建立了透射电镜三维重构研究RO膜表层构型的工作流程，其中数据后处理步骤仅需0.5小时即可完成，神经网络对膜结构的识别效果达到93%。
反渗透（RO）是污水回用和海水淡化的关键技术之一，其中反渗透膜表面聚酰胺（PA）层的纳米结构在实际应用中会显著影响其性能。尽管复合RO膜制造工艺已经较为成熟，但其纳米尺度的结构仍未取得较好的理解。相较于通常所用的扫描电镜（SEM）、原子力显微镜（AFM）等用于探究结构的二维技术，基于电子断层扫描（Electron tomography，ET）的三维重构能够以纳米级分辨率揭示膜层的内部三维结构，并可以定量地反映其孔隙率、表面积和聚合物密度等参数。然而，ET技术面临的重大瓶颈是成像后的数据处理。针对重构后的灰度图像，人工处理不仅工作量庞大，且准确率和客观性都难以保证。尽管一些半自动图像识别的软件（例如EMAN）能够部分地识别出膜成像中的目标结构，但应用于图像占比较大、衬度较低的聚酰胺膜材料，识别效果仍有待提升。因此，为了使ET技术更好地服务于聚合物膜结构探测的工具，迫切地需要探索计算机辅助的断层扫描数据的后处理方法。
近日，清华大学黄霞教授团队开发了一套在神经网络深度学习辅助下的标准化、自动化的ET实验和图像数据集处理的“从样品到数据”的工作流程。收集了3种典型反渗透膜的结构数据（BW30，BW30XFR，SW30XLE），利用U-Net神经网络模型作为训练的蓝本，经过两轮神经网络训练后，得到了一个效果和速度俱佳的图像识别网络，在保持数据质量的同时，将整个实验周期从几天减少到6.5小时，其中数据集的图像识别只需要约0.5小时。为了证明方法的高效性和准确性，几种常见的数据处理方法被用于与神经网络协助的方法进行对比；为了验证膜结构结果的合理性和有效性，使用前人发表过的ET数据和传统表征技术与本研究测出的膜结构进行对比。该研究同时简化了实验的其他步骤，实现了简化的数据获取。
为了验证神经网络训练的有效性和本方法的优越性，将训练好的神经网络应用于测试集上，并将处理结果与其他4种方式进行了对比，结果如图1所示。从结果中可以看出，U-Net的数据处理所需的人工时间是5种方法中最少的，能够在0.5小时以内处理好一整套数据。与此同时，其准确率也达到很高水平，与纯手工处理的准确率相当，都在93%左右。
图1. 5种数据处理方法的效果图比对。（a）原始灰度图像，（b）用Avizo软件处理结果，主要依靠像素强度区分，（c）用EMAN开源软件依靠局部图像训练神经网络的半自动处理结果，（d）利用EMAN处理结果进行手动修正的结果，（e）纯手动分离结果，（f）U-Net神经网络处理数据结果。
为了对数据处理成果的正确性进行验证，对处理后的数据进行了二维剖面图像的截取、沿Z轴方向膜聚合物占比的分析，并生成了三维外形图，并把这些分析结果与前人的成果进行比对，其结果如图2所示。比对结果显示，经过本研究的神经网络生成的膜结构，与前人研究的结果大体一致。此外，也进行了定量的比对，结果发现本研究膜结构的表面积、孔隙率等参数与前人研究相近。
图2. 本研究样品（a）BW30、（b）BW30XFR和（c）SW30XLE的三维重构结果与前人研究样品（d）BWXLE和（e）SWHR的三维重构结果比对，比对指标包括二维剖面、三维影像和聚合物随Z轴高度在平面上占比的函数等。比例尺为200 nm。
另外，本研究也比对了传统结构测试方法AFM与ET技术对三种膜的测试结果。AFM的测试结果与三维重构的俯视图影像具有类似特征（图3（a）和（b））。BW30具有小而平缓的褶皱，BW30XFR具有较大的有折叠的褶皱起伏，而SW30XLE具有窄而尖的突起结构。此外，AFM测得的膜表层方均根粗糙度（Rq）也与三维重构结果算得的粗糙度比较顺序大体一致（图4（c））。这证明用三维重构建造的膜表层模型符合真实情况。
图3. 三维重构结果与AFM测试结果的定性与定量对比。（a）BW30、BW30XFR、SW30XLE三种膜的三维重构结果的俯视图；（b）三种膜的AFM测试的2D图像；（c）三种膜用AFM手段和三维重构手段获得的粗糙度对比情况。
基于本研究所得到的膜结构模型，能够对本研究涉及的三种膜进行更加细致的高级结构分析，其结果如图4所示。对几个膜样品的高级结构分析显示，BW30XFR的表面与XY平面所成角度最大，且具有最大的表面曲率。与XY平面成角度超过90°的平面无法被AFM的探头探知，因此形成钝角比例高的膜，利用AFM等二维技术表征时会出现更大误差，采用ET技术的必要性更高。这些RO膜的结构特征与膜表面的水力学特质有关，能够反映出膜在实际应用中的过水效率和抗污染性能。
图4. 对于BW30、BW30XFR和SW30XLE三个膜样品进行的形貌分析。（a）与XY平面所成角度分布（定义详见图表内插图），（b）平均曲率分布，（c）高斯曲率分布，以及（d）根据两个曲率分布情况解析的5类形貌元素的分布情况（分别是顶状、管状、平面、鞍面、谷状表面）。
基于本研究开发出的神经网络技术以及制样技术和数据后处理技术的改良，本研究提出了一个完整的“由样品到结构信息”的流程图，总所需人工时间控制在6.5小时，其中传统数据处理方法当中最耗费时间的图像分割步骤，在本工作流程当中仅需耗费0.5小时人工时间即可实现。与此同时，本工作流程还对样品的制备过程和数据后处理的过程进行了简化，缩减了实验流程所需的时间，并提高了最终数据的准确性和可参考性。
图5. ET技术的实验及数据处理流程及后处理方法。（a）完整的技术处理流程，包括5个步骤，分别是样品制备，图像获取，数据前处理，图像分割，数据后处理；（b）数据后处理步骤当中Z-滤波步骤的具体执行情况；（c）数据后处理步骤当中高斯滤波步骤的具体执行情况。
相关论文发表在ACS ES&T Engineering上，清华大学博士研究生郦丹阳为文章的第一作者，黄霞教授、德州理工大学沈悦啸教授为共同通讯作者。
转自：“ACS美国化学会”微信公众号
如有侵权，请联系本站删除！
