©PaperWeekly 原创 · 作者｜桑运鑫

学校｜上海交通大学硕士生

研究方向｜图神经网络在金融领域的应用

GATNE

论文标题：Representation Learning for Attributed Multiplex Heterogeneous Network

论文来源：KDD 2019

论文链接：https://arxiv.org/abs/1905.01669

代码链接：https://github.com/THUDM/GATNE

这篇论文提出了一种在 Attributed Multiplex Heterogeneous Network 上进行嵌入学习的框架 GATNE，该框架同时支持转导式学习（transductive learning）和归纳式学习（inductive learning），在 Amazon，Youtube，Twitter 和 Alibaba 四个数据集上取得显著提升。

相比于传统的只有一种边或只有一种节点的图，Attributed Multiplex Heterogeneous Network（AMHEN）中包含多种节点，多种边，每种节点都有不同的属性，各种类型的图有代表性的嵌入方法如下表所示。

AMHEN 有以下几个问题：

1. 每对节点之间可能有多种类型的边，需要对每种关系都学习不同的表示。

2. 很多图嵌入方法都是转导式学习，无法处理没有见过的数据，而商品推荐中存在长尾和冷启动的问题。

3. 真实场景中的图规模通常很大，所以提出的算法应当可以处理大规模数据。

基于上述问题，文章提出了 General Attributed Multiplex HeTerogeneous Network Embedding（GATHE）。

对于一个图 ， 是 个节点的集合， 是属于不同关系 的边的集合，每条边 都有一个权重 ，根据边的类型 ，我们可以将图拆分成各个子图 。

为了使模型同时适用于转导式学习和归纳式学习，文章首先提出了适用于转导式学习的 GATNE-T，之后通过一些改进提出了适用于归纳式学习的 GATNE-I。

对于 GATNE-T，对每个节点 的 embedding 分为 base embedding 和 edge embedding 两部分。同一个节点的 base embedding 在不同的边类型中是一样的。在边类型为 的子图上，edge embedding 则从邻居节点的 edge embedding 聚合得到：

之后将经过节点 经过 次聚合之后的 种（边的类型数）不同的 edge embedding 拼接在一起进行注意力加权，加上 base embedding 得到节点在边类型 下的 embedding：

其中 是衡量不同 edge type 重要性的超参数， 是可训练的转换矩阵。

但是转导式的方法只能获得在训练集中出现过的 item 的 embedding，但在商品推荐等真实场景中存在冷启动问题，因此文章在 GATNE-T 的基础上提出了归纳式的算法 GATNE-I。该算法使用节点 的属性 生成 base embedding，其中 是节点 的节点类型。同样的，节点初始的 edge embedding 也通过类似的方式生成：

最终，节点 在 edge type 上的 embedding 为：

其中 是 coefficient， 是可训练的转化矩阵。

在模型训练上，文章采用了基于 meta-path 的 random walk。对于只包含关系 的子图 和给定的 meta-path  ，每一步的转移概率规定为：

训练的目标函数为最大化给定 时周围节点出现的概率：

该模型在四个数据集上取得了最好的结果。

GraphRec

论文标题：Graph Neural Networks for Social Recommendation

论文来源：WWW 2019

论文链接：https://arxiv.org/abs/1902.07243

代码链接：https://github.com/wenqifan03/GraphRec-WWW19

一个基于 GNN 的社交推荐系统要处理两个图：社交图（social graph）和用户-商品图（user-item graph），这方面的研究主要面临以下挑战：

• 如何有效融合两个图

• 如何同时捕捉用户和商品之间的交互和观点

• 如何处理不同的社交关系

为了解决上述问题，文章提出了 GraphRec。

规定 和 分别是用户和商品的集合， 是用户-商品评分矩阵， 是用户 对商品 的评分，也可以被认为是用户 对商品 的观点。 是评分，如果不知道则取 0。

此外， 表示用户和用户之间的社交图，如果用户 和用户 之间有关系 ，如果没有则取 0。给定用户-商品图 和社交图 ，目标是预测 中的缺失值。我们使用一个嵌入向量 来表示用户 ，用另一个嵌入向量 来表示物品 。

因为涉及到用户和商品两个主体，整个模型分为 User Modeling 和 Item Modeling 两部分。User Modeling 用于学习用户的隐变量 。为了有效地结合用户-商品图和社交图，模型从两个图中使用两种不同的聚合方式学习用户隐变量。在用户-商品图中学习商品空间中的用户隐向量：

其中 是用户 交互的商品集， 是表征用户 和商品 之间交互的向量。因为用户与商品之间的关系有多种，体现在评分矩阵 上就是每个元素 可能有多个取值，例如 ，如果用户 与物品 的关系为 ，则 可以利用物品嵌入 和观点（opinion）嵌入通过 MLP 获得：

在聚合方式上，采用类似 Attention 的方式进行加权：

类似的，从社交图中获取用户隐向量的方式如下：

其中 是用户 直接交互的用户集。

获得 和 后，可以通过 MLP 获得用户隐向量 ：

Item Modeling 方面，和在用户-商品图中的 User Modeling 类似的，如果用户 与物品 的关系为 ，则用向量 来捕捉两者之间的交互信息。最终的隐向量 也是通过类似注意力加权的形式得到：

其中 是商品  交互的用户集。

文章使用预测评分的任务来对模型进行训练：

模型中涉及的三个嵌入向量：item embedding , user embedding , opinion embedding 随机初始化。损失函数为：

文章提出的模型在 Ciao 和 Epinions 两个数据集上取得了最好的结果。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。