关系抽取研究现状

关系抽取就是从文本中识别实体并抽取实体之间的语义关系。

关系抽取的方法有以下三类:

1,有监督的学习方法:根据已有数据训练分类器,用训练好的分类器预测关系。有监督的学习方法缺点是需要大量人工标注的语料。
2,半监督的学习方法:主要是用Bootstrapping进行关系抽取。对要抽取的关系首先手工设定若干种子实例,然后迭代地从数据中抽取关系对应的关系模板和更多的实例。
3,无监督的学习方法:假设拥有相同语义关系的实体对拥有相似的上下文信息。故可以利用每个实体对对应上下文信息来代表该实体对的语义关系,并对所有实体对的语义关系进行聚类。

有监督学习与远程监督

有监督学习的不足是需要大量人工标注的训练数据,但是人工标注训练数据需要花费大量时间和精力。基于此,Mintz在2009年提出了远程监督(Distant Supervision)的思想。这篇论文将纽约时报新闻文本和大规模知识图谱Freebase(包含7300多个关系和超过9亿的实体)进行实体对齐。远程监督假设,一个同时
包含两个实体的句子蕴含了该实体对在 Freebase 中的关系,并将该句子作为该实
体对所对应关系的训练正例。论文在远程监督标注的数据上提取文本特征并训练
关系分类模型,有效解决了关系抽取的标注数据规模问题。

远程监督的思想假设的是一个实体只对应一种关系。但是,很多实体之间具有多种关系。因此Hoffmann在2011年提出了采用多实例多标签方法来对关系抽取进行建模,刻画一个实体对可能存在多种关系的情况。

基于深度学习的关系抽取

Socher在2012年开始使用递归神经网络来解决关系抽取问题,这篇论文首先对句子进行句法解析,然后为句法树上的每个节点学习向量表示。通过递归神经网络,可以从句法树最低端的词向量开始,按照句子的句法结构迭代合并,最终得到该句子的向量表示,并用于关系分类。该方法能够有效考虑句子的句法结构信息,但是无法考虑两个实体在句子中的位置和语义信息。

Zeng在2014年提出用卷积神经网络进行关系抽取。论文此阿勇词汇向量和词的位置向量作为卷积神经网络的输入,通过卷积层、池化层和非线性层得到句子表示。通过考虑实体的位置向量和其他相关的词汇特征,句子中的实体信息能够被较好地考虑到关系抽取中。

Miwa在2016年提出一种端到端神经网络的关系抽取模型。该模型采用BiLSTM和树形LSTM同时对句子和实体进行建模。

与之前基于特征的关系抽取系统类似,神经网络关系抽取模型也面临着人工标注数据较少的问题。对此,Zeng在2015年尝试将基于卷积神经网络的关系抽取模型扩展到远程监督数据上。Zeng假设每个实体对的所有句子中至少存在一个句子反映该实体对的关系,提出了一种新的学习框架:以实体对为单位,对于每个实体对只考虑最能反映其关系的那个句子。该方法在一定程度上解决了神经网络关系抽取模型在远程监督数据上的应用,在NYT10 数据集上取得了远
远高于基于特征的关系抽取模型的预测效果。但是,该方法仍然存在一定的缺陷:该模型对于每个实体对只能选用一个句子进行学习和预测, 损失了来自其他大量的有效句子的信息。

有没有可能把实体对对应的有噪音的句子过滤掉,然后利用所有有效句子进行学习和预测呢? Lin在2016年提出了一种基于句子级别注意力机制的神经网络模型来解决这个问题,该方法能够根据特定关系为实体对的每个句子分配权重,通过不断学习能够使有效句子获得较高的权重, 而有噪音的句子获得较小的权重。

总结

1,基于句法树的树形LSTM神经网络模型在关系抽取上取得了不错的效果,说明句法信息对关系抽取有一定的帮助,但是目前句法分析仍然存在很多的错误。如果对一个句子考虑多种句法分析树,把这些句法分析树的结果进行整合,准确率也会得到很大的提升。
2,目前神经网络的方法主要基于预设的关系集合,而如何面对开放领域进行关系提取,也有很大的限制。所以如何将神经网络引入开放领域的关系提取,自动发现新的关系及事实是一个值得探索的问题。
3,目前的关系提取主要基于单语言文本。但是文本这是信息表示的方式之一,如何利用多语言文本、图像和音频信息进行关系提取也是值得思考的问题。

参考文献

Mintz, Mike, Steven Bills, Rion Snow, and Dan Jurafsky. “Distant supervision
for relation extraction without labeled data.” In Proceedings of ACL-IJCNLP, 2009.

Hoffmann, Raphael, Congle Zhang, Xiao Ling, Luke Zettlemoyer, and Daniel S.
Weld. “Knowledge-based weak supervision for information extraction of
overlapping relations.” In Proceedings of ACL-HLT, 2011.

Socher, Richard, et al. “Semantic compositionality through recursive
matrix-vector spaces.” Proceedings of EMNLP-CoNLL, 2012

Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou, and Jun Zhao. Relation classification via convolutional deep neural network. In Proceedings of COLING.

Makoto Miwa, Mohit Bansa. “End-to-End Relation Extraction using LSTMs on
Sequences and Tree Structures” In Proceedings of ACL, 2016.

Daojian Zeng,Kang Liu,Yubo Chen,and Jun Zhao. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of EMNLP.

如果文章对您有用请随意打赏,谢谢支持!
0%