One For All

One for All: Towards Training One Graph Model for All Classification Tasks

摘要

不同领域的图数据携带不同的属性并遵循不同的分布，这使得图上的任务(node, link, graph任务)需要不同的嵌入策略。

这篇论文提出OFA(One For All)框架，用来统一不同的图数据，并使用LM将多样化的且可能是跨领域的文本属性编码为同一嵌入空间中的特征向量。

OFA引入了“nodes-of-interest”的概念，以单一任务表示标准化不同的任务。

结论

OFA是第一个只在构建用于基础GNN模型的解决方案，通过监督学习、few-shot和zero-shot场景中表现出优异的结果。

背景

文本属性图(TAGs)

与其他使用TAG的工作不同，其他工作只能处理节点特征已经是文本的图，本文将所有图视为TAG，因为任何节点和边都可以使用文本描述

方法

1. 不同领域的图被整合成具有相同格式的文本属性图(TAGs)

   • 允许单一的LLM将所有TAG嵌入到同一空间向量中，方便使用统一的方法处理不同领域的图

2. 引入兴趣节点(NOI)子图和NOI提示节点

   • 统一了图领域的不同任务类型(节点任务、链路预测、图任务)，使GNN可以自动关注与任务相关的信息

3. 提出图提示范式(Graph Prompting Paradigm, GPP)，将任务信息有机的注入到图数据中，实现上下文学习

使用TAGs统一图数据

对于任意领域的图数据集，几乎都可以用自然语言来描述

作者为图数据(TAG $G$中的任意节点($v_i$)和边($e_{ij}$)设计了一个标准化格式：

• 对于节点 $v_i$ 文本特征($s_{v_i}$)：

  • 以文本“Feature node”开头。
  • 然后使用文本描述一个特征的类型和内容。<feature description>: <feature content>;
  • 有多个特征的话可以用分号连接

Text feature of nodes:Feature node. <feature description>: <feature content>; <feature description>: <feature content>; ...

---

Example: Feature node. Atom: Carbon, Atomic number 6, helix chirality, is not in a ring, ...
Example: Feature node. Paper title and abstract: Attention is all you need. The dominant sequence transduction models are ...

• 对于边 $e_{ij}$ 的文本特征$s_{e_{ij}}$：

  • 以"Feature edge"开头。
  • 然后使用文本描述一个特征的类型和内容。<feature description>: <feature content>;
  • 有多个特征的话可以用分号连接

Text feature of edges:Feature edge. <feature description>: <feature content>; <feature description>: <feature content>; ...

---

Example: Feature edge. Chemical Bond: ionic bonding, is conjugated, ...
Example: Feature edge. Citation from one paper to another.

 

最后使用LLM编码器将所有文本特征编码成固定长度的向量，作为所有节点/边的特征输入。

即对于$v_i$和$e_{ij}$有$x_i=LLM(s_{v_i})$和$x_{ij} = LLM(s_{v_{ij}})$

使用兴趣节点统一不同的图任务

 

图领域中的下游分类任务可以分为不同类别：

• 节点级任务
• 链接级任务
• 图级任务

作者提出兴趣节点(Nodes-of-Interest, NOI)子图和NOI提示节点来统一这三种任务的训练和知识转移

名词解释

NOI: 任务中目标节点集合。$T = {v_i}$ ($v_i$是目标节点)。

NOI提示节点: $S_{h}(v)$，它连接到NOI中的所有节点，同时为下游任务将类别节点附加到NOI提示节点。NOI提示节点用于汇总信息和任务描述，所以节点特征包含任务描述。它提升了原始图模型的表达能力，以更好的学习NOI周围的结构信息。结构如下。

Text feature of the NOI prompt node: Prompt Node. <task description>.

---

Example: Prompt node. Graph classification on molecule properties.
Example: Prompt node. Node classification on the literature category of the paper.

类别节点: 类别$i$的节点为$c_i$，结构如下。

Text feature of Class Node: Prompt Node. <class description>.

---

Example: Prompt node. Molecule property. The molecule is effective in: ...
Example: Prompt node. Literature Category. cs.AI (Artificial Intelligence). Covers all areas of AI except Vision ...

NOI子图：围绕NOI的子图，记$S_h(v)={V_v^h, E_v^h, R_v^h}$为围绕 $v$ 的 $h$ 跳自我子图，包括 $v$ 的 $h$ 跳邻居节点和所有连接边。$v$ 是目标节点，即图中的

NOI子图集: 结合了NOI中所有节点的自我子图(包含了多个NOI子图的图)，记为$<em>h()=</em>{v}<em>h(v)={</em>{v}^h_v, <em>{v}^h_v, </em>{v}^h_v}$

统一处理

• 对于节点级的任务，NOI是节点本身，即$T={v_i}$，且$G_h(T)=S_h(v_i)$
• 对于链接级的任务，NOI为$T={v_i, v_j}$，且$G(T)=G({v_i, v_j})=S_h(v_i)S_h(v_j)$
• 对于图级的人物，NOI包含所有节点，$T={v}$，且$<em>h()=</em>{v}_h(v)=(V, E, R)$

图提示范式用于图上下文学习

TODO