基于规则学习的关系模式知识图谱嵌入研究

一、引言

知识图谱嵌入(KGE)已被证明是解决知识图补全(KGC)任务的有效方法。关系模式是指具有特定语义的关系、表示为图形模式，是影响KGE模型性能的重要因素。虽然之前的工作从理论上分析了KGE模型在不同关系模式下的能力，并建立了更好的关系模式建模与更好的KGC性能之间的粗略联系，但对关系模式上的KGE模型的全面定量分析仍然缺乏，因此不确定KGE对关系模式的理论支持如何有助于与该关系模式相关的三元组的性能。

二、关系模式的简介

具有特定语义的关系通常表现出相应的图形模式，在本文中我们称之为关系模式，例如对称/反对称、反转和组合。KGE模型的性能被广泛认为与它们在KG中捕获关系模式的能力密切相关。

我们给出了六个关键关系模式的定义，包括对称模式、反对称模式、逆模式、等价模式、子关系模式和组合模式。

关系模式的条件及其规则。EN_（r） 的实体对的集合满足 。Ø指空集。每行中的r表示为属于相应模式的关系。注意，compositional后的圆括号表示设计的关系数量。

三、方法

我们方法论的整体架构如下，可以分为以下三个步骤。

• 在训练阶段，在训练集上训练KGE模型，得到实体和关系的嵌入。
• 在分类分析阶段，在分类的基础上，将三元组分类为模式数据集。然后，通过在特定模式数据集上的实验，全面定量地分析了不同KGE模型在不同模式下的性能。
• 在不需要额外训练的情况下，将SPA分数和KGE分数结合计算最终分数。

1. 三元组的分类

关系模式的规则形式通常采用具有封闭路径的Horn规则的形式，这与kg中的规则挖掘所挖掘的规则类似。因此，我们决定利用规则挖掘按照不同关系模式对关系进行分类Type(r) 。

例如，如果我们得到一条规则这与对称模式的规则形式相似, 我们将得到(注意，一个关系可能属于多个模式)。对于三元组的分类  取决于关系​​​​ , 即 .KGE模型在关系模式上的性能可以根据属于该关系模式的三元组的补全性能量化 。

2. Score-based Patterns Adaptation (SPA)

为了增强KGE模型在关系模式上的能力，我们的目标是提出一种简单的方法来具体地在不同的模式上提升KGE效果。因此，我们引入了一种无需训练的方法——，该方法将特定关系模式的信息与KGE分数相结合来修改模型的分数函数。SPA的基本前提是，如果头部三元组是正确的，那么体部三元组也很可能是真的，因为规则的头部可以使用既定的规则从身体中推断出来。因此，我们建议利用规则主体的结果作为SPA函数来增强对特定模式的推断。我们还将规则挖掘的规则置信度作为关系模式的置信度来度量修改分数的可信度。具体情况如下:

上式中，为KGE模型的评分函数，为 模式的SPA评分。表示关系的模式规则集。

 表示模式的超参数，表示规则的平均置信度，以衡量修改分数的可信度。下表显示了在不同关系模式上使用规则的SPA函数。

四、实验与分析

下表显示了两个基准在不同置信度阈值下挖掘的规则数量。我们可以明显地观察到，FB15k-237中的规则数量远远多于WN18RR，并且存在全部五种关联模式。而在WN18RR中只有两种关系模式，说明FB15k-237中的数据比WN18RR中的数据更杂。

下图显示了基于(PCA=0.8, HC=0.5)关系分布的热图，以显示模式之间的重叠。在FB15k-237， 重叠部分接近于1，而其他关系的重叠部分很小，这意味着composal3是巨大的。WN18RR中的关系比较简单，没有inverse和multiple 。此外，我们仔细研究了WN18RR中的compositionsl规则，发现规则主体由头部关系和两个对称关系组成，这使得compositionsl 模式失去了其组合意义。

Q1. 与不支持这种关系模式的KGE模型相比，理论上支持特定关系模式的KGE模型是否在与关系模式相关的三元组上获得更好的效果?

我们认为答案是否定的。直觉表明，如果一个模型本身不支持一种关系模式，那么与支持相关关系模式的其他KGE模型相比，它在链接预测任务中的MRR可能更低。然而，实验结果与我们的直觉相矛盾。

表上显示了七种KGE模型之间的比较。由于WN18RR中缺少一些模式，所以我们只考虑FB15k-237。

在symmetric模式下，基准测试是不支持这种模式的TransE，而其他六个支持这种模式的KGE模型(除了PairRE)的性能比TransE差。同样的结果也出现在Inverse和Multiple中。只有在Composition2，支持的KGE模型表现出明显优于不支持的KGE模型。

Q2.不同KGE模型的实体频率对模式的影响是什么?

上图显示了7个KGE模型在两个数据集上具有不同实体频率的不同模式上的性能。第一行的两幅图，从左到右分别是Symmetric模式在FB15k-237和WN18RR中的实验结果。第二行从左到右分别是FB15k-237中Inverse、Multiple和Composition2和模式的结果。

在FB15k-237中，我们观察到ComplEx的性能明显差于其他模型。在WN18RR中，不支持Symmetric的TransE比其他模型差得多。直观地，我们期望随着实体频率约束的增加，KGE模型应该能够更好地学习实体嵌入，从而获得更好的性能。然而，在Symmetric模式中，随着实体频率约束的增加，有明显的下降趋势。FB15k-237在Inverse在Composition2的表现是先下降后上升。

Q3. 如果一个KGE模型在链接预测上比另一个表现得更好，是因为它在不同的关系模式上统一改进了吗?

我们比较了FB15k-237中7个KGE模型与MRR的关系模式。我们发现有两种情况。首先，如果一个模型与另一个模型相比表现出总体上的改进，那么所有关系模式都会有显著的增强。例如，当将ComplEx与DistMult进行比较时，MRR从0.26增加到0.29，很明显，相对于ComplEx, DistMult在所有模式中都得到了改进。其次，即使在总体性能相似的情况下，关系模式的能力也可能很差。以TransE、RotatE和HAKE为例，三种模型的整体性能相似(TransE为0.33,RotatE为0.333,HAKE为0.329)，但HAKE的能力略弱于其他两种模型的整体模式。

Score-based Patterns Adaptation实验结果

在FB15k-237上，我们的SPA策略达到了最好的性能，表明它可以有效地学习特定模式数据集中的所有模式。在Symmetric模式的性能比较中，具有SPA的KGE模型，如TransE, RotatE和PairRE，在MRR方面提高了2%。对于Inverse模式，使用SPA的KGE模型，如TransE、RotatE、HAKE和PairRE，显示出5- 8%的MRR提高。对于Multiple模式，具有SPA的KGE模型，如TransE, RotatE, HAKE和PairRE，显示出约6%的MRR改进。对于Composition2，我们发现SPA在DualE和PairRE中只有轻微的改善。对这种现象的一种可能解释是，在实验中，我们以Composition2模式的多条计算，这可能会进一步放大误差，使效果不那么明显。WN18RR的实验结果见附录，与我们在FB15k-237中的结论一致。

五、结论及展望

我们研究了基于关系模式的KGE模型中的KGC任务，并从理论、实体频率和部分到整体三个方面对结果进行了分析，得出了一些反直觉的有趣结论。

• 首先，理论支持并不能保证KGE模型的关系模式优于没有理论支持的模型。
• 其次，实体频率对关系模式绩效的影响不同;对于对称模式，它会减少，而对于其他模式，它会随着频率的增加而增加。
• 最后，一个显著优秀KGE模型在所有关系模式上都会有明显提升。

在未来，我们认为KGE的研究不应局限于关系模式。应该更加注意从宏观角度分析总体关系、负采样和损失函数之间的相关性。

本文转载自：​​ZJUKG​​

作者：金龙