以下文章来源于北邮 GAMMA Lab ，作者程泓涛
一、引言
当今，图神经网络（GNN）已经成为了许多领域的研究热点。然而，设计一个高效的、适合特定任务的图神经网络结构并不是一项容易的任务。
图数据复杂而多样，针对不同任务定制模型需要耗费大量人力并需要专业知识。为了克服这一难题，研究者们运用神经架构搜索来寻找针对不同任务所适配的图神经网络架构。然而这并非是一个容易的课题，尽管目前已经存在大量神经架构搜索方法，如何减小计算资源的代价和优化任务泛化性等仍然是一个值得研究的主题。
二、[WSDM2022] Profiling the Design Space for Graph Neural Networks based Collaborative Filtering
GNN在图任务上的强大表现使得其成为推荐系统中协同过滤（CF）的最流行方法之一。然而现有的大多数方法都是针对给定情景下设计单一架构模型，难以实应新的推荐场景，该文提出了一个基于GNN的CF统一框架，探究不同设计空间对推荐性能的影响。
本文将CF中的GNN分为初始化，GNN，多组件和交互4个模块。
初始化：将用户和物品的ID从one-hot编码映射为稠密稠密向量，通常可以look-up查询得到。
GNN：以将用户和物品的初始嵌入为输入，经过GNN层中的消息传递学习用户和物品的嵌入，获取新的表示作为输出。
多组件：将用户和物品分解为多个组件学习如何通过不同方面建模用户的兴趣，并最终组合起来获得用户的最终表示。
交互：计算用户与物品的得分，反应用户对物品的偏好程度。
并提出了以下9个设计维度，将这些设计维度划分至四个模块中。
之后进行实验，在设计空间中寻找较为优秀的架构。
对实验进行分析，可以发现设计空间中存在一些冗余。例如：嵌入维度64显著优于128维和256维。这启发我们修剪原始设计空间，只保留那些更有可能生成性能良好模型的选择，让搜索空间更紧凑，提高模型的搜索效率。
对裁剪后的搜索空间进行实验，可以发现裁剪后的搜索空间依旧具有较强泛化能力。
三、[CIKM 2023] Retrieving GNN Architecture for Collaborative Filtering.
将图神经网络应用于新的推荐场景时，可以从当前已有的图神经网络架构，或者使用神经架构搜索来获得性能较好的图神经网络架构。然而，前者需要大量专业知识和后者又有昂贵的计算代价。为了解决这个问题，该文提出一种新型神经检索方法RGCF，能够在新的推荐场景中高效检索性能较好的架构。
RGCF的整体架构如图。
预处理：RGCF对每个任务搜寻最优的架构。然而，遍历搜索空间中的每个架构代价较大，因此RGCF采样了一些架构，构成（数据集，架构，性能）的三元组，用作元训练数据集。
元训练：RGCF设计了两个不同的编码器用于获取元特征。包含数据集编码器和架构编码器，最后通过交叉编码器将数据集编码器和架构编码器的输出拼接并计算不同组合的得分。然后通过任务级别的mixup数据增强和排名损失函数优化。
架构搜索：对于一个新数据集，通过训练好RGCF，可以得到针对该数据集性能较好的架构。
伪代码如下：
通过实验，也可以看到RGCF相比起其他搜索方法在效率和性能方面都很优秀。
四、[CIKM 2023] Node-dependent Semantic Search over Heterogeneous Graph Neural Networks
异构图神经网络（HGNNs）是异构图（HGs）上各种任务，如推荐和社会网络分析的先进方法。虽然HGNNs对但HGs中复杂的语义信息的利用率仍然不足。在这项工作中，作者研究了如何在节点依赖语义的指导下设计强大的HGNNs的问题。HGs中的特定语义信息通常使用元路径（meta path）学习，然而设计元路径需要大量人力和专家知识，已有的一些神经架构搜索方法（NAS）也倾向于在每一层消息传递中只保留一种关系，然而在异构图中，节点通常表现出很强的多样性。例如，有些论文的研究主题跟作者高度相关，而有些论文又和发布会议更相关。如何针对不同节点进行语义搜索成为一个挑战。该文提出了NDS搜索框架，能够灵活地为不同节点选择不同语义关系。
NDS提出了关系选择和连接选择机制：
关系选择：在HGNNs的每层中，选择目标节点i的关系是否保留在消息传递中。具体而言，NDS训练了一个两层的多层感知机（MLP）以上层节点表示作为输入，并输出二维向量表示节点i的r关系保留的概率。并使用温度感知softmax归一化，根据概率决定是否为节点保留对应关系。
连接选择：受残差连接启发，连接选择允许跨层间的节点表征传递信息（图b）。类似于关系选择，连接选择也使用MLP和温度感知softmax获取是否保留跨层连接。
考虑到HGNNs和语义搜索模块的高度耦合，NDS使用交替优化模式迭代更新他们,伪代码如下：
之后进行实验，可以看到NDS相比起其他语义搜索框架在各项指标上都有明显提升。
五、总结
神经网络架构搜索是一种自动设计神经网络的技术，能在给定候选架构搜索空间中用某种策略从中选择最优的网络结构，降低神经网络的设计成本。神经网络架构搜索现阶段在图领域已有大量应用，然而在搜索效率和泛化能力上还有很大提升空间，未来还有很多值得探索的方向，如探索不同设计空间对模型性能的影响，设计更高效的搜索框架等。
北邮 GAMMA Lab 公众号
转自：“arXiv每日学术速递”微信公众号
如有侵权，请联系本站删除！
