AAAI 2020学术会议提前看：常识知识与常识推理

（2）基于图的推理部分：基于图的推理部分包含两个模块：（a）基于图的上下文表示学习模块，该模块利用图结构信息重新定义单词之间的距离以学习更好的上下文单词表示。作者提出拓扑排序算法（Algorithm 1）根据构造图对证据进行排序，需要说明的是，对于结构化知识源 ConceptNet，使用了 ConceptNet 提供的关系模板将三元组转换为自然语言文本句子。作者使用 XLNet 作为 backbone，将已排序的 ConceptNet 证据语句、已排序的维基百科证据语句、问题语句、选项这四者的级联作为 XLNet 的输入，得到的 XLNet 输出是上下文单词表示。通过将提取的图转换为自然语言文本，就将两个不同的异构知识源融合到了同一表示空间中。（b）基于图的推理模块。作者采用 [1] 中的图卷积网络对图结构信息编码来获取节点表示，通过合并相邻节点的特征来更新节点表示。第 i 个节点表示 h_i^0，是通过对 XLNet 输出中相应证据的隐藏状态取平均值并通过非线性变换来减小维数而得到的：

其中 si = {w0，···，wt} 是第 i 个节点对应的证据，h_wj 是 XLNet 对 wj 的上下文表示，W 将高维 d 缩减为低维 k，σ是激活函数。 为了对图进行推理，首先聚集来自每个相邻节点的信息。第 i 个节点聚集的信息 z_i^l：

其中 Ni 是第 i 个节点的邻居，h_j^l 是第 j 个节点在第 l 层的表示。将 z_i^l 与转换后的第 i 个节点表示结合起来获得更新节点表示 h_i^(l+1). 利用图注意机制来聚集图表示进行预测，图表示 h^g 的计算：

其中 h_i^L 是第 i 个节点在最后一层的表示，h^c 是 XLNet 最后一个序列的表示，也可被视为输入表示，α_i 是第 i 个节点的权重，h^g 是图表示。 作者将输入表示 h_c 与图表示 h^g 级联在一起，输入多层感知器来计算置信度得分 score(q,a)。对于问题 q 而言，候选答案 a 的概率计算如下：

其中 A 是候选答案集，最终选择最高的置信度得分回答作为预测回答。 实验评估 作者使用 CommonsenseQA 数据集进行了实验，该数据集包含12102个样本 (train:9741,val:1221,test:1140)，作者选择了在验证集上最好的模型，并提交了在测试数据上的预测结果。比较实验选择了排行榜上有名的模型，作者将它们分为四组：

· Group1：模型没有相应的描述，也没有发表论文

· Group2：模型没有使用提取的知识

· Group3：模型使用了提取的结构化知识

· Gropu4：模型使用了提取的非结构化知识

这些方法要么使用的是来自结构化知识源的证据，要么利用了来自非结构化知识源的证据，没有同时利用到两种知识源的优势。在 CommonsenseQA 验证集和测试集上的结果如 Table1所示，与四组方法相比，作者的方法均达到了最佳性能。Table2展示了作者的方法在验证集上进行消融实验的结果，在 baseline 中作者将所有的证据简单地连接到 XLNet 中，并采用上下文表示进行预测。通过添加拓扑排序算法，获得了比 baseline 高1.9% 的收益，单独添加图形推理模块带来了1.4% 的提升，二者一起添加获得了3.5% 的提高。随后作者进行了知识源的消融实验，Table3的结果证明了结合使用 ConceptNet 和 Wikipedia 获得的巨大效果提升，说明异构知识源的性能要优于单个知识源和不同知识源。

笔者小结：这篇论文作者的创新在于提出了一种基于图的方法，利用不同结构的知识源进行常识知识问答，并且提出了基于图的上下文表示学习模块和基于图的推理模块，更好的利用了图信息。作者的方法在目前的 CommonseQA 排行榜上达到了最先进的性能。 参考文献：[1]Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016. PIQA: Reasoning about Physical Commonsense in Natural Language(物理交互问答:自然语言中的物理常识推理) 论文链接：https://arxiv.org/pdf/1911.11641.pdf 论文速览：「在不使用刷子涂眼影的情况下，我应该用棉签还是牙签？」类似这种需要物理世界常识的问题对现今的自然语言理解系统提出了挑战。虽然最近的预训练模型 (如 BERT) 在更抽象的如新闻文章和百科词条这种具有丰富文本信息的领域问答方面取得了进展，但在更现实的领域，由于报导的偏差，文本本质上是有限的，类似于「用牙签涂眼影是一个坏主意」这样的事实很少得到直接报道。人工智能系统能够在不经历物理世界的情况下可靠地回答物理常识问题吗？是否能够捕获有关日常物品的常识知识，包括它们的物理特性、承受能力以及如何操纵它们。在本文中，作者介绍了一个关于物理常识推理任务和相应的基准数据集 PIQA（Physical Interaction：Question Answering）进行评估。虽然人类应对这一数据集很容易 (95% 的准确率)，但是大型的预训模型很难 (77%)。作者分析了现有模型所缺乏的知识为未来的研究提供了重要的机遇。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!