GCN 翻译 - 3

3 SEMI-SUPERVISED NODE CLASSIFICATION

这里简单引入一个例子,利用图上信息传播的方式的一个灵活的模型f(X,A),我们来解决一个图上节点分类的半监督问题。正如在introduction里面提到的,我们应用数据X和图结构的邻接矩阵锁提出的模型f(X,A)在图结构上进行半监督的学习。我们希望能够利用这套模型能够预测临界矩阵中的不在X中的非label数据,例如引用网络中两个文本的链接或者是知识图谱中的关系。总体看,一个多层的GCN 半监督学习模型如图1所示

3.1 EXAMPLE

在接下来的讨论中,我们主要考虑一个2层的GCN网络用来做半监督的节点分类的学习。临界矩阵A(0-1或加权),我们可以在预处理里面先把\widehat{A} = \widetilde{D}^{-1/2} \widetilde{A}\widetilde{D}^{-1/2} 计算出来,我们的前向网络如下:

Z = f(X,A) = softmax(\widehat{A}ReLU(\widehat{A}XW^{(0)})W^{(1)}) \quad (9)

这里,W^{(0)} \in R^{C*H} 是输入到隐藏层的权重矩阵,隐藏层有H维特征。W^{(1)} \in R^{H*F}是隐藏到输出层的权重矩阵。这里的Softmax的激活函数定义为softmax(x_i) = \frac{1}{z} exp(x_i) , z = \sum_{i}exp(x_i) , 对于多分类的半监督任务,我们在所有的label数据上评价交叉熵的误差:

L = -\sum_{l\epsilon y_L}\sum_{f=1}^{F}Y_{lf}lnZ_{lf} \quad (10)

y_L是有label节点的集合。

神经网络的权重W^{(0)}W^{(1)}可以使用梯度下降来训练。在这个工作中,我们使用使用全量数据集的数据在在每一个迭代轮次用批梯度下降法。对于稀疏的邻接矩阵A,需要使用的内存为O(|\varepsilon |),同比于图里面边的数量。训练过程中使用dropout。未来在内存充裕的情况下,我们将尝试mini-batch的随机梯度下降法。

3.2 IMPLEMENTATION

时间中,我们使用TensorFlow在GPU上进行训练 (9)中的稀疏矩阵乘法,(9)的计算复杂度为O(|\varepsilon |CHF ),线性同比与图的边的数量。

相关推荐

  1. GCNGIN

    2024-03-10 23:40:03       26 阅读
  2. GOOGLE翻译V3

    2024-03-10 23:40:03       35 阅读
  3. Gin框架(3

    2024-03-10 23:40:03       32 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-10 23:40:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-10 23:40:03       101 阅读
  3. 在Django里面运行非项目文件

    2024-03-10 23:40:03       82 阅读
  4. Python语言-面向对象

    2024-03-10 23:40:03       91 阅读

热门阅读

  1. 202109CSPT4收集卡牌

    2024-03-10 23:40:03       34 阅读
  2. TypeScript的基础类型和高级类型梳理总结

    2024-03-10 23:40:03       42 阅读
  3. 安装pytorch省流版

    2024-03-10 23:40:03       39 阅读
  4. ArrayList 和 LinkedList 的区别是什么?

    2024-03-10 23:40:03       43 阅读
  5. 蓝桥集训之牛的基因学

    2024-03-10 23:40:03       38 阅读
  6. 数据库与数据仓库关联和区别

    2024-03-10 23:40:03       42 阅读
  7. 关联拼接字段SQL

    2024-03-10 23:40:03       44 阅读
  8. Redis使用实战经验(一)

    2024-03-10 23:40:03       47 阅读
  9. PyTorch学习笔记(一)

    2024-03-10 23:40:03       51 阅读
  10. ubuntu 中进入python 编辑如何退出到命令行

    2024-03-10 23:40:03       35 阅读