Large Language Models on Graphs: A Comprehensive Survey

本文是LLM系列文章,针对《Large Language Models on Graphs: A Comprehensive Survey》的翻译。

摘要

大型语言模型(LLM),如ChatGPT和LLaMA,由于其强大的文本编码/解码能力和新发现的涌现能力(如推理),正在自然语言处理方面取得重大进展。虽然LLM主要设计用于处理纯文本,但在许多现实世界场景中,文本数据以图形的形式(例如,学术网络和电子商务网络)与丰富的结构信息相关联,或者图形数据与丰富的文本信息配对的场景(例如,具有描述的分子)。此外,尽管LLM已经显示出其纯基于文本的推理能力,但这种能力是否可以推广到图场景(即基于图的推理)还没有得到充分的探索。在本文中,我们系统地回顾了与图上的大型语言模型相关的场景和技术。我们首先将在图上采用LLM的潜在场景总结为三类,即纯图、富含文本的图和文本配对图。然后,我们讨论了在图上使用LLM的详细技术,包括LLM作为预测器、LLM作为编码器和LLM作为对齐器,并比较了不同模型流派的优缺点。此外,我们还提到了这些方法在现实世界中的应用,并总结了开源代码和基准数据集。最后,我们总结了这一快速发展领域未来潜在的研究方向。相关来源可在https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs上找到。

1 引言

2 定义和背景

3 分类和框架

4 纯图

5 富含文本的图

6 文本成对图

7 应用

8 未来方向

9 结论

在本文中,我们对图上的大型语言模型进行了全面的综述。我们首先对可以采用LMs的图场景进行分类,并总结了关于图技术的大型语言模型。然后,我们对每个场景中的方法进行彻底的审查、分析和比较。此外,我们总结了可用的数据集、开源代码库和多种应用程序。最后,我们为图上的大型语言模型提出了未来的发展方向。

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-04 15:50:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-04 15:50:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-02-04 15:50:01       87 阅读
  4. Python语言-面向对象

    2024-02-04 15:50:01       96 阅读

热门阅读

  1. 在 Qt 中如何将数字转换为QString

    2024-02-04 15:50:01       52 阅读
  2. 栈和队列-删除字符串中的所有相邻重复项

    2024-02-04 15:50:01       55 阅读
  3. 蓝桥杯题目-四个瓷瓶的神秘游戏

    2024-02-04 15:50:01       58 阅读
  4. 音频处理库和工具,以及相关开源

    2024-02-04 15:50:01       46 阅读
  5. 什么是ISO21434网络安全中的汽车网络?-亚远景

    2024-02-04 15:50:01       61 阅读
  6. nginx:配置内网转发阿里云oss

    2024-02-04 15:50:01       51 阅读
  7. js的深拷贝与浅拷贝

    2024-02-04 15:50:01       50 阅读
  8. python实现的LDA算法

    2024-02-04 15:50:01       47 阅读
  9. 【力扣刷题练习】876. 链表的中间结点

    2024-02-04 15:50:01       44 阅读