晶体的高通量虚拟筛选旨在通过评估数据库中每个候选材料的特性来发现新材料。在此过程中，使用密度泛函理论（DFT）对大规模数据集中每种候选材料的结构优化（结构弛豫）是最主要的计算瓶颈。
为此，韩国科学技术研究院Yousung Jung等人提出了一个生成式“结构翻译”框架，将非弛豫结构域映射到弛豫结构域，从而实现数据驱动的结构“翻译”。
该模型在没有DFT弛豫的情况下，可以以较小的误差预测材料的形成能，并能得到与DFT弛豫结构一致的原子坐标。所提出的模型并不局限于晶体结构领域，可以扩展到从易于计算的属性转化为更困难的属性领域中。
图文导读
工作的总体方案如图1a所示。首先使用由图卷积神经网络（GCN）组成的Graph-Encoder对未弛豫的三维晶体结构进行编码，生成隐藏的晶体特征，然后通过Cryslator将其转换为弛豫的晶体特征。然后，将转换后的晶体特征输入到全连接神经网络（Regressor）中，预测与弛豫的晶体结构相关的目标特性（如形成能，ΔEf）。Graph-Encoder和Regressor使用完全弛豫的结构和ΔEf进行预训练，然后再训练剩余的神经网络（Cryslator和Structure-Predictor）。
Cryslator是基于pix2pix的，pix2pix是从图像到图像转换的模型，是计算机视觉领域常用的模型。在这项研究中，它适用于将非弛豫结构域的晶体特征转移到弛豫结构域。数学上，Cryslator的损失函数的目标是获得与传统生成对抗网络一样满足最小-最大目标函数的生成器（G）和判别器（D）。在训练过程中，作者在输入的非弛豫晶体特征中加入高斯噪声，以提高预测的鲁棒性。
Cryslator的主要目标是利用非弛豫结构来获得弛豫结构，而Structure-Predictor进一步使用分数原子坐标中的位移来从初始的非弛豫结构预测弛豫晶体结构坐标（ΔPos）和单元格信息（Δcell），如图1c所示。为了包含结构弛豫过程中产生的结构差异，作者额外增加了未弛豫晶体特征与转换特征向量之间的差异（Δcrystal feature）用于预测ΔPos和Δcell。
图1. 晶体特征转换模型的方案，将非弛豫结构域和弛豫结构域联系起来
作者以X-Mn-O体系为案例，使用经过元素替换的数据集和弛豫结构的形成能来训练所提出的模型，使用总数据集的80%作为训练数据集，剩下的20%作为验证集和测试数据集。
为了验证所提出模型的预测性能，作者考虑了三个基于GCN的基准：GCNR、GCNU、GCNR+U，如图2所示。每个基准模型由Graph-Encoder和Regressor的顺序组合组成，但所有模型参数都使用由不同类型的结构数据组成的训练集进行重新训练（R表示弛豫结构，U表示非弛豫初始结构，R+U表示弛豫和非弛豫结构）。
此外，对于训练好的每个基准模型，作者计算了测试集中各种结构类型（即未弛豫（U-input），弛豫（R-input）和部分弛豫或中间结构（I-input））形成能的平均绝对误差（MAE）。这里的非弛豫初始结构是指将所需元素替换到从Materials Project中获得的结构模板中得到的结构。另一方面，中间结构是相对于非弛豫初始结构进行了轻微结构优化的非弛豫结构，这意味着它们比非弛豫初始结构更接近最终的弛豫结构。从每个非弛豫初始结构的结构优化轨迹中随机获取10个中间结构，构建中间测试数据集。
图2. 形成能预测及基于GCN的基准模型
图2描述了各种模型在预测形成能时的测试集精度，通过使用U-input（蓝色），R-input（红色）或I-input（紫色）作为X-Mn-O测试集的输入。作者首先根据测试输入的结构类型在训练域上对有偏差的预测进行基准测试，并演示数据增强对减轻这种结构偏差的影响。GCNR-R（即使用弛豫结构作为GCNR的测试输入）的预测误差最低，但使用非弛豫结构作为相同模型（GCNR-U）的测试输入时，误差急剧增加，从0.014 eV/atom增加到0.84 eV/atom。可以设想，用非弛豫结构（即GCNU）训练GCN模型，可以克服使用非弛豫结构进行属性预测的限制。实际上，与GCNR-U相比，GCNU-U在X-Mn-O数据集上的误差从0.84 eV/atom显著降低到0.057 eV/atom（见图2中的蓝色条）。
另一方面，同样使用非弛豫和弛豫结构的CryslatorR+U在训练过程中作为源域和目标域数据对，对于所有结构类型，其预测MAEs都明显低于GCNR+U。虽然数据增强确实提高了GCNR+U中不同结构类型的预测模型的性能，但简单的数据增强模型容易受到训练数据中多种结构类型中的噪声影响，这似乎限制了预测精度的进一步提高。
另一方面，生成式CryslatorR+U更好的性能可能是由于该模型对嵌入晶体特征向量采用域转换方案，对结构变化具有鲁棒性。值得注意的是，即使与另外两个（结构类型相关的过拟合）模型，即GCNR-R和GCNU-U相比，CryslatorR+U-R和CryslatorR+U-U也表现出差不多的预测精度。此外，值得注意的是，对于I-input，与三个基线模型相比，Cryslator在预测中显示出最高的准确性，这表明它的通用性和鲁棒性，即使对中间结构也能做出准确的预测。在这项工作中，训练数据集仅使用初始和最终结构构建。然而，在训练数据集中纳入额外的中间结构数据集（Materials Project trajectory dataset），可以预测出更优越和更稳健的模型（尽管它可能需要更长的训练时间）。
作为一种域转换模型，Cryslator的关键优势在于能够在特征空间中自行生成转换后的结构数据，而传统的材料属性预测模型（例如GCNR+U模型，只产生属性值）无法获得这些数据。因此，作者通过直接比较数据分布来研究训练后的生成器是否能够有效地将源域（非弛豫结构）转换为目标域（弛豫结构）。为此，作者使用t-SNE降维方法将X-Mn-O测试集中的特征向量空间映射到二维空间中进行分析，如图3所示。
通过对比图3a和图3b，可以清楚地看到，Cryslator有效地再现了弛豫结构域的性质以及从非弛豫结构测得的向量距离分布。图3c和图3d分别描述了未弛豫晶体特征空间和转换晶体特征空间，颜色映射对应于未弛豫晶体特征之间的欧几里得距离，这一观察结果表明，Cryslator已经很好地将不稳定的晶体特征向量转化为稳定的特征向量。
图3. 利用t-SNE可视化转换前后X-Mn-O测试数据集的晶体特征空间，并与完全弛豫结构进行比较
作为在未弛豫和弛豫晶体特征向量之间转换的主要目标，作者利用转换的特征向量通过附加模型来预测弛豫晶体结构本身（单位晶胞和原子坐标）。Structure Predictor预测了结构弛豫前后的单元晶胞和原子位置的差异（Δcell和ΔPos），利用初始猜测结构及其转换后的晶体特征作为输入。
首先通过将非弛豫（U-input）结构转换为弛豫结构并考虑结构匹配条件来测量测试集的重建精度。大约84%（使用非弛豫初始结构，U-input）的晶体结构（2392/2859）与转换后的弛豫结构一致。作者在没有晶体特征信息的情况下训练了Structure Predictor，发现测试集中的预测结构均与真实弛豫结构不一致。接下来，作者将部分弛豫（I-input）结构和完全弛豫（R-input）结构转换为输入，以获得弛豫结构。大约87%（使用I-input）和99%（使用R-input）的Cyslator-translation结构分别预测具有正确的弛豫结构。
因此，高的重建精度不仅在训练域（非弛豫初始和弛豫），甚至在无法观察到的中间结构域。这也表明所提出的模型确实有效地完成了从不同初始结构预测弛豫结构的多对一映射任务。
为了获得更加量化的结果，作者总结了结构（分数坐标、绝对坐标和单元格体积）和电子（DOS、带隙和EFermi）属性方面所产生的差异。无论输入结构的类型如何，对于几何和电子属性，经过转换后的误差都显著降低。然而，对于电子性质，为了对带隙或DOS有定量的评估，似乎需要更精确的原子坐标，如图4b和c中带隙和DOS所示。为了评估这种可能性，作者测量了达到相同结构所需的优化（SCF）迭代的平均次数。可以发现，使用转换后的结构作为初始猜测，将SCF迭代次数平均从23.69次减少到16.06次，如图4d所示，节省了32%的成本。这些结果表明，所提出的方案可以有效地绕过数据集的几何弛豫，或者在需要时减轻DFT结构弛豫的计算负担。
作者提出的模型可以被认为与机器学习势有相似之处，后者是传统DFT有希望的替代技术，因为它可以从非弛豫结构中预测弛豫结构。然而，每种方法在能力和可扩展性（灵活性）方面存在差异。由于机器学习势的目的是学习目标化学系统的势能面（PES），因此需要在非常多样化的构象集上的能量和力的信息来训练机器学习势。由于机器学习势可以描述系统的PES，科学家们可以做更多的一般任务，而不仅仅是获得平衡的几何结构，如材料的动态特性。另一个不同之处在于，为了使用机器学习势获得平衡结构，需要几何优化以找到能量最小结构，而所提出的转换模型无需迭代即可给出结果。
此外，该模型可以扩展到弛豫结构的其他关键材料性质，如带隙、吸附能和体积模量，通过用所需的材料性质重新训练“图编码器”和“回归器”网络。从这个角度来看，所提出的模型可以被认为是机器学习势的补充。
图4. 从单位元胞体积、电子特性和完全DFT弛豫与晶体转换结构所需的计算成本方面考察转换结构的影响
尽管提出的模型在有限的化学空间（即X-Mn-O空间）中有很好的效果，为了证明模型的通用性，作者探讨了更多样化的元素组。作者使用从Materials Project获得的初始和最终结构对数据集重新训练模型，以预测最终结构的形成，也使用三个基于GCN的基准来比较属性预测性能，如图2所示。
图5总结了实验结果。在性能预测精度方面，如图5a所示，所提出的方案（即CryslatorR+U-U）与其他的基准相比，表现出最好的性能（MAE=0.044 eV/atom），需要弛豫结构作为输入的GCNR-R和CryslatorR+U-R的误差分别为0.029 eV/atom和0.031 eV/atom。
图5b-d分别描述了未弛豫、弛豫、转换后结构的特征向量空间二维图。正如之前在图3中观察到的，对于MP数据集的测试集，仍然可以观察到Cryslator可以有效地恢复由弛豫结构组成的特征空间（见图5c-d）。
从这些观察结果可以看出，即使考虑到元素周期表中几乎所有元素组成的更复杂的化学空间，所提出的方案仍然可以适用于预测没有DFT弛豫的结构的性质。
图5. Cryslator在MP数据集上的泛化性能
除了使用晶体特征进行属性预测外，作者还尝试使用Structure Predictor模型来预测弛豫结构。尽管该模型具有较低的训练误差（MAE=0.017），但对测试集的预测性能较低（分数坐标的MAE=0.097）。这可能是由于与之前考虑的X-Mn-O数据集相比，这个扩展的化学空间在元素周期表上的数据是稀疏的。也就是说，X-Mn-O数据集比MP数据库包含更多的结构，X-Mn-O数据集中每个组成大约有66.6个结构，而MP数据集中每个组成大约有1.2个结构。
这表明，直接预测弛豫结构本身需要学习每种化学成分的大量结构数据，并且比简单地预测晶体特征向量要困难得多。因此，解决模型在处理一般材料数据方面的限制的一种方案是，利用元素替换来增加每种成分的结构数据。
总结与展望
综上所述，作者提出了一种新的晶体域转换模型，以绕过DFT弛豫过程来预测弛豫结构的性质。作者结合两种结构类型的数据（即弛豫和非弛豫结构）训练的三个基准模型来比较模型的性能。
从实验中，作者证明了无论输入数据类型（即无偏预测）如何，Cryslator都具有较高的预测精度，表现出最平衡的性能。使用晶体转换结构作为DFT几何优化的初始猜测可以减少32%的DFT计算成本。
在大规模虚拟筛选日益重要的情况下，通过避免昂贵的结构弛豫过程，可以有效地扩展到其他更一般的数据集。所提出的晶体特征转换的概念可以扩展到基于易于计算的简单性质（即“易性质”转化为“难性质”）来预测各种其他重要的材料性质，以便在未来的工作中进行大规模的材料虚拟筛选。
文献信息
Sungwon Kim, Juhwan Noh, Taewon Jin, Jaewan Lee, Yousung Jung. A structure translation model for crystal compounds. npj Computational Materials 9, 142 (2023)
https://doi.org/10.1038/s41524-023-01094-5
转自：“萤火科研”微信公众号
如有侵权，请联系本站删除！
