随着“双碳”、新型电力系统建设要求的逐步深入和研究,电网调度各类信息化、智能化系统的建设也突飞猛进.但在其建设过程中,电网调度的各类留痕文档的体量和类型也逐步增多,需要更多的自动化、智能化手段帮助电网调度管理生产工作中抽取事件的主体,从而提升工作人员的工作效能.其中,本文提到的事件是指在电网调度文档中提及的对电网运行具有一定影响的事情,事件检测的目标是通过机器学习的手段推断出文档中发生了何种事件.在目前人工智能的发展历程中,事件抽取是自然语言处理的重要任务之一,而事件检测是事件抽取的关键步骤之一.利用深度学习识别事件触发词,并进一步实现事件分类,旨在以纯文本中的特定类型识别特定类型的事件实例.

具体而言,给定句子后需要模型判断句子是否包含事件触发器,如果是,则需要识别特定事件类型.例如,在句子 “2021年10月30日 08: 30A省B站#3主变由于二次回路误动作引发重瓦斯出口告警”中,事件检测系统将检测“二次回路误动作”触发的“重瓦斯出口告警”事件.

中文事件抽取最近取得了进展.迄今为止,已经提出了许多方法^[1,2],并获得了较好的性能.其中,传统媒体中基于文档的事件监测方法主要通过文本的相似性和聚类来检测事件,Yang等^[3,4]提出了基于文档方法事件检测的基本步骤,包括文本预处理、数据表示、数据组织或聚类,这些步骤至今也是许多事件检测方法基本组成部分.Salton^[5]使用词频-逆文本频率(TF-IDF)根据语料库对文档中重要的词语进行加权,该方法也广泛地被后来的事件检测方法使用.为了改善术语向量和词袋模型的不足,Kumaran等^[6]提出了一种融合了命名实体的向量空间模型(VSM)文本向量模型,用来加权重要的词特征,弥补TF-IDF的不足.Sankaranarayanan等^[7]提出了一种在Twitter中检测突发新闻的系统Twitter Stand,使用朴素贝叶斯分类器来过滤不相关推文,采用在线聚类方法,根据TF-IDF加权的推文词语向量的文本余弦相似度进行聚类,得到新闻类,检测突发新闻.Phuvipadawat等 ^[8]提出了一种在Twitter中收集、聚类、排名和追踪突发新闻的方法,通过“#breakingnew”等关键字获取推文,让TF-IDF结合斯坦福命名实体识别,增加命名实体、话题标签、用户名的权重用以计算推文的相似度,按相似度将推文分组,通过粉丝数、转推数和时间新鲜度对组打分排名.

但是,现有的事件抽取方法从纯文本中捕获足够的语义信息,发现它具有挑战性,因为单词可能在不同的句子中具有不同的含义.例如,在表1的句子1中,单词“站”等同于电站类型,但在句子2中,相同的单词“站”表示身体姿态.此外,因为触发器与单词完全匹配,单词触发器不匹配问题仍然存在.在句子1中,该事件应由“装机容量”触发,这是一个交叉字触发器.而通常因为词分割工具将“装机容量”划分为“装机”和“容量”,使得无法提取完整的触发器.

为了提高事件检测质量,需要捕获诸如语法特征的其他信息;依赖性解析器是捕获语法特征的有效方法.使用依赖性解析器,可以用包含依赖关系的结构化信息标记句子. 弧线箭头表示依赖关系,该关系将依赖词连接到句子中的字头.例如,在图1中,弧线箭头表示将依赖词“引发”连接到实体的依赖关系(主谓和动宾).依赖关系为模型提供了丰富的语义功能,并且合理地执行.例如,在图1中,“引发”是触发字.根据“引发”及其实体的动作和信号之间的依赖关系,可以利用其实体来协助触发器的分类和识别事件类型的“引发-warning”.这些相关实体称为提示词,可以提供可用信息以帮助触发分类.然而,通过传统的单词嵌入,很难充分利用这些提示词,因为它们分散在句子中.因此,我们通过添加依赖关系来连接提示词来触发评论.在大多数情况下,这些附加功能可以提供有用的信息.

通过此目标,本文提出了一种混合表示方法,用于从单词、字符和依赖关系中学习信息.通过使用Token-Level神经网络学习两个单独的字符级和字级表示;并从依赖性解析器获取依赖性信息,通过独热编码生成其表示.通过分析证明,从依赖性解析器生成的特征有利于事件检测.最后,本文设计适当的混合范式以捕获混合表示,其模型分别实现了81.43%和73.85%的平均F1值,可用于触发识别和触发分类.

本文提出的模型通过两个阶段构成,并通过动态多池卷积神经网络(DMCNN)处理混合表示:第一阶段为触发识别,通过使用Token-Level神经网络利用触发器的字符组成结构以捕获包含有关角色的潜在触发语义;第二阶段用于确定事件的特定类型,其称为触发类型分类.我们使用来自依赖性解析器提取依赖性信息,以在这两个阶段中通过Token-Level神经网络生成特征表示;最终将其与单词特征表示组合并获取混合表示.

电网调度语义事件检测方法的体系结构由4个部分组成,包括输入序列的表示、基于依赖解析器的特征表示、混合表示法和DMCNN,其框架如图2所示.

为了更好地捕获有关不同级别的信息,本文使用两级嵌入,即领域词汇嵌入和普通词汇级别嵌入.为了进一步提高性能,本文使用预先训练的权重来初始化嵌入.并根据两个Token-Level神经网络用于从领域词汇和普通词汇获取特征.网络架构类似于Nugget区块提案网络(NPNs).令T={t₁,t₂,…,t_n},其中t_i(i=1, 2, …,n)是句子中的token数,n为句子能被分词产生的词汇数量.并令x_i是t_i的嵌入(领域词汇或普通单词),本文引入窗口大小为s的卷积层,t_c用来捕获文本输入的语义,c表示卷积层,该卷积层表征句子的语义,其隐含层标识如下:

式(1)表示卷积过程,其中:w_i表示第i层卷积层的滤波器;j表示token中的索引;x_j:j+s-1表示嵌入层x_j到x_j+s-1的串联;b_i表示偏置.

式(2)通过使用动态多池来提供句子不同部分的重要特征,其中: hileft关联卷积层t_c左侧的汇集结果; hiright关联卷积层t_c右侧的汇集结果;通过连接 hileft和 hiright获取卷积层t_c的领域词汇表示f_bword;通过在普通词汇级序列上使用相同的过程,还可以获得普通词汇级表示f_nword.

依赖性解析器是基于依赖关系的依存句法分析的重要部分.句法依赖关系可用于获得深度语义信息.通过直接将它们结合到嵌入中,在神经网络模型中使用句法依赖项.在这项工作中,使用三个不同的特征抽象层来表示三个功能:POS表示词性标注;DR表示依赖关系分析;DIS表示与头的距离.POS是单词的词性,它在自然语言中发挥着重要作用,例如命名实体的识别、语法分析和事件抽取.名词或代名词可以作为句子中的主题,但不能相互转化.这是因为语法组件对语音组件有限制.因此,POS适用于抽象特征,以表达文本语义信息的不同特征.本文将POS作为一种特征来加强基于单词的特性.中文中的常用词性大概有52个,本文将使用52维的独热向量来代表句子POS的部分.这意味着句子中的每个单词的POS可以表示为52维特征向量.52维矢量的每个维度代表了POS的一部分.例如,表示一个单词的位置,如果其中一个值为1,并且剩余的51维值为0.

DR依赖关系表达了句子组件之间的语义关系.对于事件检测任务,触发词通常是谓语(即动词).一般在电网调度语料库中,触发词为动词对象的角色占19%.因此,本文认为可以使用依赖关系来改善触发器检测.在依赖关系的特征层上,矢量维度为23(22个关系类型和1个“其他”类型).22种依赖关系经常使用句法依赖项,并且为了降低特征表示的复杂性,将其他依赖关系分类为“其他”类型.

DIS是依赖路径的长度.具体地说,如果一个单词和头部直接相关,则定义DIS=1.如果路径包括一个中间依赖性,则DIS=2.例如,在图1的句子中,二次回路误动作引发重瓦斯告警的依赖路径如下:

二次回路误动作→引发→重瓦斯告警

其中“二次回路误动作”是这句话的头,“引发”在头部和“重瓦斯告警”之间创造了中间依赖.因此,对于“重瓦斯告警”这个领域词汇,其DIS=2. 头部是句法依赖项中的根节点,通常表示句子中的核心字,用来触发代表事件中的重要内容.基于对电力调度语料库中触发器的分析,本文发现头和触发词是相似的.这意味着距离头部的距离可用于测量单词是否在某种意义中被触发.在DIS的特征层上,使用7维向量表示0到6的距离.另外,如果其大于6,仍然将其值识别为6.

对于中文事件检测,只有使用领域词汇表示或普通词汇级表示无法获得足够的信息.例如,如果理解字符级表示中的“引发”,是一个由“引”和“发”组成的触发器.在单词级表示中,单词级序列既可以提供更明确的信息,又将“引”的语义区分开.

在嵌入层之后,可以获得领域级特征表示f_bword,一个普通级特征表示f_nword和一个总体特征表示f'_F.本文通过学习两个门来模拟触发识别和事件类型分类器的信息流,公式如下:

式中:SIGM为sigmoid函数;W、U、V均为权重矩阵;b表示偏置.

基于图2中的三个特征图层,可获得三个特征表示.通过连接这三个特征表示来构建一个82维矢量f'_F.最后,可获得特征和单词作为新的表示的串联:f'_h= [f'_Ff_bword].

根据引入触发扣核生成器和事件类型分类器的栅格,可以获得作为输入的最终矢量:

式中: fTi是触发识别的混合特征; fTc是事件类型分类器的混合功能; αTi和(1- αTi)分别代表触发识别中f_nword和f'_h的重要性; αTc在事件类型分类器中扮演类似的作用.

传统的卷积神经网络仅使用一个池层实现最大操作.这意味着传统的卷积神经网络仅捕获句子的表示中最重要的信息.在事件检测中,一个句子可能包含两个或多个事件,并且参数可以使用不同的触发来获取不同的角色.但是,传统的卷积神经网络只会捕获整个句子的最有用信息,并将同一个句子中的其他信息丢失.为了解决上述问题,通过DMCNN在不丢失最大池值的情况下获得更有价值的信息.本文将使用类似的神经网络,图3描述了其触发检测的架构.

首先,获得嵌入和相对位置x_i的串联,将x_i串联到上文中定义的特征向量中;随后将词汇级别特征作为卷积层的输入,以捕获组成语义并获得特征图.具体地,卷积操作通过利用卷积核来扫描W个单词的窗口来产生新的特征,此处W表示进行卷积的词汇大小,一般为3或5.一个卷积核产生一个位置的一个特征c_ij=σ(w_jx_i:i+j+b),其中:σ是非线性函数(一般情况使用tanh);j的范围为1到m;m是卷积核的数量,i为词汇的数量.

之后,根据句子中的卷积核的数量,特征映射输出c_j分为i部分.例如,如果一个句子有一个卷积核,那么句子将被分成两个部分,当这句话有两个卷积核时,这两个触发器将句子分为三个部分.通过动态多池,一个过滤器的最终输出由p_ji= max(c_ji)给出,以获得每个特征映射的p_ji,并且所有p_ji连接到形成的最终结果.

最后将上面的特征向量和词汇特征连接到一个矢量f_word中.采用类似的方法来获取字符级向量f_char,为触发识别和触发类型分类层产生两个混合表示.

在训练过程中,本文将事件检测视为多级分类问题.将f_N作为卷积神经网络的输入.输入是分词后的句子.并加入Dropout防止过度拟合.

另外,卷积层用于捕获语义并卷积核生成特征映射.传统的卷积神经网络通常通过PoolMax层获得一个最大值.本文使用动态多池通过将每个特征映射分成多个部分来获得多个最大值.通过连接句子级和词汇特征,得到一个矢量f_F,并将其馈入分类器.获取最终输出的过程可以表示如下:

式中:W_T是转换矩阵;b是偏置项;Z是网络的最终输出.

最后,使用SoftMax函数的激活功能来预测每个类型的概率分数,选择最高概率作为最终结果.使用两个不同的分类器来预测触发器检测中的跨度类型和触发类型分类中的事件类型.在图3中,举例说明分类器如何获取触发单词并预测事件类型.当分类器采用潜在触发或潜在触发器时,一个分类器包含此字符的不同可能为依据,触发抽取取最佳匹配单词.然后,另一个分类器将预测此触发的事件类型.

本文使用电网调度中的调度日志、调度检修票、调度预案语料来评估研究的网络.在评估语料库中,有 23967 份文件.表2显示了语料库中的每个事件类型的数量.并使用了 20967 个文档作为训练集,2000 个文档作为开发集,其余 1000 个文档用于测试.本文遵循标准评估程序:如果其事件子类型和偏移符合参考触发器,则触发器是正确的.最后本文使用精度(P),召回(R)和F1值来评估结果.

对于分类器,本文划分为正例和负例.包含在触发单词中的字符被视为一个正实例,否则该字符被视为否定实例.将正例与负例的比率设置为 1∶20.为了有效地训练神经网络,将500作为句子长度的最大限制,并且在字级表示中的最大句子长度为130.嵌入尺寸和Char嵌入维度的单词为100.对于卷积神经网络的激活功能,使用sigmoid函数.因为标记的语料库中的大多数触发器不超过3,为了评估字符是否被视为正实例,限制了3的触发长度,将批量尺寸设置为128,Dropout设置为0.5,并将矩阵的初始化设置为在-0.1 至0.1之间的均匀分布.

使用五类模型进行实验对比.

FBRNN:使用前后循环神经网络(RNN)来检测单词或短语的事件.该方法是使用RNN进行事件检测的第一次尝试.

DMCNN:使用动态多池层根据事件触发器和参数进行实验.此事件抽取方法在不使用复杂的自然语言处理工具的情况下自动提取词法级和句子级别特征.

CLIZH:在LSTM编码器中加入了许多启发式功能,在TAC KBP 2017评估中取得了最佳性能.

NPN:该网络使用混合表示捕获特征,并设计了三种混合范例(CONCAT、General和Casst-Complete)以获得混合表示.

JMCEE:采用预训练BERT编码器,并利用多组二进制分类器来确定事件检测.

正如表2所示,本文方法在触发识别的任务中具有最好的精确率和F1值.但是召回率与最佳结果相比,本文的模型大概低了8%.在触发分类的任务中,本文方法可以实现全指标的最佳,证明了本文方法的有效性.

基于语义特征抓取电网调度文本预计事件检测技术方法的四个部分,分别为:输入序列的表示、基于依赖解析器的特征表示、混合表示法和动态多轮询卷积神经网络,通过以上四个部分可以有效地将电网调度文本进行检测,并实现基于语义特征成功抓取电网调度事件的工作.

此外,可以通过实验进一步研究并利用深度学习识别事件触发词,并进一步实现事件分类,旨在以纯文本中的特定类型识别特定类型的事件实例.更深层次地通过自动化、智能化手段帮助电网调度管理生产工作中抽取事件的主体,从而提升工作人员的工作效能.