《Learning Latent Representations of Nodes for Classifying in Heterogeneous Social Networks》----论文笔记

《Learning Latent Representations of Nodes for Classifying in Heterogeneous Social Networks》是发表在CCF B类会议WSDM‘14上的一篇论文,目前Google引用量为27次。论文利用异质网络中节点标签集的依赖关系和标签集与节点特征之间的关系,将不同类型的节点表示特征映射到统一的隐含向量空间。

论文的亮点在于,不同于传统处理异质网络的方法,本文不是将异质网络简单的拆分成同质网络,而是将不同类型的节点映射到统一的隐含向量空间,并对于每种节点类型,学习一个分类函数,对节点进行分类标记。

1、Introduction

异质网络中的分类问题,目前常用的方法是将异质网络映射(拆分)到同质网络中,但这种映射丢失了网络中不同类型节点之间的关系和特征,并且这种映射往往依赖于不符合实际网络的假设。论文提出一种假设不同类型的节点确实是相互影响的,为了说明这一点,论文用了如下这张图进行说明。

</center>

2、Model

论文提出一种半监督模型,通过假设有相同标签的节点有相似的表示特征,利用异质的有标签的数据对模型训练,同时考虑不同节点类型的标签之间的关系,学习隐含表示特征。

2.1、Learning latent node representations

为了学习异质网络中节点的隐含表示,论文首先考虑了节点没有属性信息的网络结构,然后将其拓展到包含节点信息的网络结构中。模型的基本思想如下:

  • 每个节点映射到统一的隐含向量表示空间
  • 相互连接的节点的表示特征是相似的
  • 对于每种节点类型,模型都会学习一个分类函数,函数以节点隐含表示特征值作为输入,以类别标签作为输出。

定义节点$x_i$的隐含表示为$z_i\in{R^Z}$,论文提出如下损失函数,以计算图的隐含特征表示矩阵。

为了预测未标记节点的标记类别,论文基于式(1)得到的图节点的隐含表示特征,对于节点类型$k$,定义一个线性分类函数$f_\theta^k$,通过最小化如下损失函数学习$f$函数。

其中,$z_i$表示节点的表示特征,$f_\theta^{t_i}(z_i)$指预测节点label,${\triangle{(f_\theta^{t_i}(z_i),y_i)}}$是预测标签的损失函数,论文中定义为${\triangle{(f_\theta^{t_i}(z_i),y_i)}}=\sum_{k=1}{\max(0;1-y^kf_\theta^{t,k}(z))}$,$y^k$是节点$x$分类为类别$k$的期望分数(-1或1),$f_\theta^{t,k}(z)$是模型预测节点为$k$类别的得分。

模型最终的优化目标为:

模型最小化上式损失函数,优化参数为$\theta$和表示特征$z_i$,从中学习到每个节点$x_i$在隐含空间的特征表示$z_i$,以及每个节点类型$k$的分类函数$f_\theta^k$。

论文使用随机梯度下降优化公式(3),算法实现如下:

![](http://ou5bxfpku.bkt.clouddn.com/HeteNodeRepre2.png)

算法选择一对相互连接的节点($w_{i,j}>0$)进行梯度下降优化模型,如果被选择的节点有标签,算法首先根据公式(2)进行参数更新(算法4—10行),包括更新分类参数$\theta$和特征表示$z$。最后算法分别更新节点$i$和$j$的特征表示$z_i$和 $z_j$(算法12—13行)。如果选择的节点没有标签,算法只会对特征表示$z$进行更新。

2.2、Heterogeneous model and content

上一节的优化目标公式(3)只考虑了图的网络结构(结构权重矩阵和节点标签),在这一小节中,论文将上述方法拓展到节点包含属性信息的网络结构中,将属性信息看作网络的另一类型节点,节点之间的权重可以通过相似性度量的方式求得

3、Summary

论文的创新在于:在有相同标签的节点有相似的表示特征的假设下,结合异质网络的节点标签的依赖关系信息、网络结构权重矩阵以及节点的属性信息,对不同类型的节点进行特征表示学习,并将表示特征映射到统一的隐含空间中。然后,基于节点的表示特征,为每一个节点类型学习一个分类函数,对节点分类。

个人感觉论文的创新性没有特别的强,对于如何拓展到网络节点属性信息,论文并没有过多的推理叙述,而且论文的书写叙述不是很容易读懂,不过也许是因为自己水平太菜。。。

写的还不错?那就来个红包吧!
0%