【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

LLM4GCL: CAN LARGE LANGUAGE MODEL EMPOWER GRAPH CONTRASTIVE LEARNING?

https://openreview.net/forum?id=wxClzZdjqP
图对比学习的重点就是图数据的增强，针对图中节点的表示或者图的结构进行扰动，通过对比学习得到对应的节点表示，以便于进行节点分类、连接预测等。
这个工作用LLM提升特征增强和结构增强。

特征增强

Structure-Aware Summarization (SAS)
对于每个节点v，构建一个提示，将锚定节点和其邻居的文本属性（表示为{Sv, SNv}）以及调整文本属性的说明结合在一起。
Independent Reasoning (IDR).
对于每个节点v，我们生成一个提示，将锚定节点的文本属性作为输入，并指示LLM预测该节点的类别并提供解释。
Structure-Aware Reasoning (SAR).
对于每个节点v，我们设计了一个提示，其中包含了锚定节点Sv及其邻居SNv的文本属性，以及一个关于节点潜在类别的开放式查询。

结构增强

图结构增强（GSA）。让Nv和 ̄ Nv分别表示节点v的连接和断开连接节点集合。我们查询LLM模型，以预测Nv（或 ̄ Nv）中的节点是否应该与锚定节点v断开连接（或连接）。

对LLM进行微调作为text encoder

使用MLM、TACL、GIANT进行微调