我们可以为图学习任务软提示LLM吗(WWW2024)

1、写作动机:

直接将LLMs应用于图模态存在独特挑战,因为图和文本模态之间存在差异和不匹配。因此,为了进一步探究LLMs理解图信息的潜力,作者引入了GraphPrompter,这是一个通过软提示将图信息与LLMs对齐的新型框架。

2、主要贡献:

• 这是第一项研究LLMs是否可以通过软提示理解图学习任务的工作。

• 提出了GraphPrompter,这是一个新颖的即插即用框架,首先使用GNN从文本图中获取节点表示。然后,所得到的嵌入与提示指令连接,以指导LLMs进行图学习任务。

3、方法:

GNN部分:将 3-跳子图 𝐺𝑠𝑖 定义为包含从 𝑣𝑖 开始的所有节点的诱导子图,距离不超过三跳。随后,使用GNN计算每个子图 𝐺𝑠𝑖 的节点嵌入 𝑋𝑖:𝑋𝑖 = GNN(𝐺𝑠𝑖 ),每个嵌入 𝑋𝑖 捕捉了相应子图的结构信息,提供了与 𝑣𝑖 相关的拓扑特征的丰富表示。然后使用一个投影层,具体来说是一个多层感知机(MLP),来将节点嵌入与LLM的向量空间对齐。

LLM部分:对于每个节点 𝑣𝑖,给定其关联的文本属性 𝑇𝑖,使用LLM的冻结分词器对 𝑇𝑖 进行分词:𝑇tokens = Tokenizer(𝑇𝑖 )。分词器将文本转换为LLM词汇表中的一系列离散标记 okens。随后,这些标记被嵌入到连续空间中:𝑇emb = Embed(𝑇tokens) 这些嵌入被设计为捕捉文本的语义含义,与GNN提供的结构信息相辅相成。接下来,我们将节点嵌入和文本嵌入连接起来,,然后将其传递到LLM中的自注意力层中。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-13 00:04:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-13 00:04:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-13 00:04:02       87 阅读
  4. Python语言-面向对象

    2024-04-13 00:04:02       96 阅读

热门阅读

  1. 学c++的第六天 细胞分裂 ——复合运算符

    2024-04-13 00:04:02       35 阅读
  2. Unity 主线程和其他线程之间的数据访问

    2024-04-13 00:04:02       32 阅读
  3. 在Android中使用MediaPlayer播放音频和视频

    2024-04-13 00:04:02       36 阅读
  4. 华为校招机试 - 网络保卫战(20240410)

    2024-04-13 00:04:02       39 阅读
  5. 两个数组的交集

    2024-04-13 00:04:02       40 阅读
  6. c#写的代码如何防止被反编译

    2024-04-13 00:04:02       44 阅读
  7. centos7的防火墙

    2024-04-13 00:04:02       33 阅读
  8. 获取cookie的方式

    2024-04-13 00:04:02       38 阅读
  9. LeetCode 27.移除元素

    2024-04-13 00:04:02       35 阅读
  10. Linux系统优化

    2024-04-13 00:04:02       43 阅读
  11. 个人博客项目笔记_04

    2024-04-13 00:04:02       30 阅读