新能源开发逐渐成为各个国家的核心目标,而风能是目前技术最成熟的清洁能源,其中风力发电机是实现循环利用风能发电的主要设备^[1].风力发电机具有系统复杂、多学科综合、批量小、周期长的特点,装配工艺非常复杂,高度依赖专家知识,且在产品迭代的过程中会产生大量历史装配工艺信息,以碎片化、多源异构、多种模态的形式存储于数据库中.一方面,需要工艺设计人员在数据库中反复对跨系统、多模态数据进行查询、判断和学习,不仅容易产生纰漏,效率低下,而且设计经验和能力难以共享和传承;另一方面,数据库中大量历史装配工艺数据难以得到有效管理和运用,造成数据维护效率低、成本高、资源浪费^[2].因此,如何将风力发电机装配过程中产生的碎片化、多源异构、多种模态的工艺知识转化为统一的、有组织的、可以传播并重用的知识^[3],对提高风力发电机装配效率和历史工艺数据管理维护水平具有十分重要的意义.

目前,工艺知识建模领域分为面向对象建模、基于流程建模、基于本体建模和基于知识图谱建模.面向对象建模方面,Xu等^[4]将复杂产品中的装配关系定义为类,以有效减少组合爆炸情况;Song等^[5]从组织角度描述众包对象之间的信息传递,完成复杂产品协同设计.基于流程建模方面,董晨阳等^[6]将流程信息与资源信息融为一体,分析解决制造资源实时变化问题;Rudnitckaia等^[7]结合过程挖掘和价值流方法对燃气表组装过程进行分析管理.基于本体建模方面,Das等^[8]和施昭等^[9]都采用基于网络本体语言的本体建模方法实现了机械工艺知识模型构建.基于知识图谱建模在本体建模基础上强化了结构化知识组织和表达能力,以三元组的形式组织信息,能够更高效地处理具有复杂语义关系的多源异构数据.李秀玲等^[10]依据国际标准构建工艺知识图谱,提出基于知识图谱的工艺重用方法;吴闯等^[11]提出针对航空发动机润滑系统的故障知识图谱建模方法,实现知识驱动的故障诊断策略;顾星海等^[12]提出一种基于知识图谱的面向装配语义信息建模方法,有效提升不同类型装配语义信息之间的关联性.

然而,上述4类工艺知识建模方法在风力发电机装配中仍存一些缺陷.风力发电机产品研发数据与工艺数据中存在多个系统,且数据多源异构,存在三维模型、自然文本、图像等多模态数据形式.面向对象建模方法侧重于类的结构,缺乏对相关关系的描述;基于流程建模方法对于各类数据可集成统一管理,但对于语义和时序关系的描述较弱;基于本体建模和知识图谱建模仅针对单一模态,而在工艺知识库中存在大量自然文本、图像、三维模型等多种模态数据,因而构建多模态的知识图谱可能对于工艺知识融合效果更好^[13].例如Kannan等^[14]对出版刊物进行多模态知识提取与知识图谱构建,李星原等^[15]构建针对癫痫病医疗知识的多模态知识图谱,都取得了比单模态图谱更优的效果.

综上所述,面向风力发电机多源异构装配数据,开展多模态知识图谱建模方法研究.首先,描述风力发电机多模态知识图谱(Multi-Modal Process Knowledge Graph of Wind Turbine, MPKG-WT)的定义、数据格式及构建流程;然后,结合不同模态的风力发电机装配数据介绍建模方法;最后,以某风力发电机公司的产品装配数据为例,验证该模型框架及构建方法的可行性.

在风力发电机装配中,知识来源于作业指导书、安装手册、维修记录、工艺文档、模型文件、维护手册等多源异构数据,而其中单一数据来源也可能存在文本、图像、模型等多模态的工艺知识,如图1所示.例如,作业指导书与安装手册以word文档形式存储,存在文本和图像信息;装配模型由多个子零件构成;JSON工艺文档以半结构化的方式记录工艺信息.因此,对各模态数据进行分类,能够帮助多模态知识图谱的快速构建.

为保证风力发电机装配工艺知识的有效获取,通过分析其数据特点,将其划分为以下3种主要模态的数据:

(1) 文本模态工艺知识.文本模态的工艺知识是利用自然语言描述的装配工艺操作语句,主要来源于各作业指导书、装配工艺文档等.文本模态的工艺知识包含丰富的装配工艺信息,是多模态图谱构建的重要基础.

(2) 图像模态工艺知识.图像模态的工艺知识主要包括辅助理解装配工艺语句的图像、装配工艺流程中所涉及的工具或零部件图像等.图像模态的工艺知识较为形象,能够更好地帮助操作人员理解装配工艺语句中的抽象概念,并更迅捷地锁定某零部件.

(3) 三维模型模态工艺知识.三维模型模态的工艺知识蕴含于待装配机械零件的三维模型中,主要展现装配工艺中的空间几何特征及层级关系信息,如零部件间的组成关系、装配特征间的配合关系等.对于工艺设计从业者,三维模型能够帮助他们有效且迅速地制定一套装配工艺.

MPKG-WT是一个以风力发电机多模态工艺数据为节点,以它们之间各种语义关系为边的结构化语义网络,其建模流程主要包括4个步骤,如图2所示.

第一步:本体构建.首先,给出风力发电机多模态工艺知识图谱的相关定义;其次,针对不同模态的知识给出各自属性类别;最后,得出风力发电机多模态工艺知识图谱模式层.

第二步:多源异构数据处理.通过利用数据分析技术对多源异构的数据进行解析,从中分离出对应文本、图像、模型类的工艺知识,并获得3种模态之间的对应关系.

第三步:知识抽取.在模式层的引导下,对各个模态知识采用实体关系抽取相关技术以获得知识图谱的组成单元三元组,从而完成数据层的构建.

第四步:知识融合.在上述工作的基础之上,对3种模态知识之间进行实体对齐和共指消歧,最终完成风力发电机多模态工艺知识图谱的构建,实现跨模态知识的统一表示.

为形式化规范风力发电机多模态工艺知识图谱中的多模态实体及关系类别,首先给出图谱的本体结构定义.

定义1 MPKG-WT在传统知识图谱的基础上加入其他模态知识,可表示为

其中:E为所有实体集;R为所有关系集;A为所有属性集;T_W为文本类工艺知识三元组集合;T_V为图像类工艺知识三元组集合;T_M为三维模型类工艺知识三元组集合.每一个三元组可以表示为T={(s, p, o)|T_i∈(T_W∪T_V∪T_M),i =1, 2, …, b},s、p、o分别代表主语、谓语、宾语.

对于实体集E,根据风力发电机数据的主要模态,进一步细分为3类:文本实体E_W、图像实体E_V、三维模型实体E_M.E_W通常包含装配工艺AC、装配工序AP、装配工步AS、装配零件AE、装配工具AT,即E_W={S_AC∪S_AP∪S_AS∪S_AE∪S_AT};E_V通常包含装配零件图VC、装配序列图VS,即E_V={S_VC∪S_VS};E_M通常包含结构特征MS和几何特征MF,即E_M={S_MS∪S_MF};S表示对应的集合.主要实体及其定义如表1所示.

对于关系集R,根据装配工艺数据的特点分为结构关系R_st、时序关系R_tm和操作关系R_op,即R={R_st∪R_tm∪R_op}.结构关系R_st代表节点之间存在的固有联系,时序关系R_tm代表不同节点之间隐含的先后顺序关系,操作关系R_op代表工艺具体操作.主要关系及其定义如表2所示.其中,“HasImg”、“Has-Mod”等关系在图谱中形成跨模态实体间的关联.

对于属性集,其作为一种固有特性能够对实体与关系作出语义补充,强化表示能力,基本格式为(实体,属性名,属性值),属性值可以是常见的数值类型、日期类型、或者文本类型.主要实体对应属性如表3所示.表中:URL为统一资源定位符.

基于上述风力发电机多模态图谱及其各类实体-关系-属性定义,可构建MPKG-WT本体模型框架,如图3所示.

风力发电机多模态知识图谱所需信息通常有多种来源,且这些不同来源的数据结构也各不相同,如半结构化的JSON工艺文档,非结构化的风力发电机作业指导书、机械安装手册、设备维修记录、维护手册以及模型文件等.对于半结构化文件,可直接读取其中相关信息并进行使用;模型文件可打包成文件名-模型文件格式后用于后续模型解析利用.而非结构化的文件在企业中通常以word文档形式保存,其中蕴含大量文本和图像两种模态的工艺信息.对此,将具体提取这两种模态信息,提取算法如算法一所示,其流程如图4所示.算法首先分析word文档中各类内容并进行归类存储到JSON文档相应位置,再对XML文档解析获取图像信息.图中:jsonFile、imgFile分别为JSON、Img文件.

算法一:模态信息提取算法

Input:以word文档形式保存的工艺文件

Output:文本类知识文件和图片类知识文件

1. for each e in wordFile: //遍历文档内所有元素

2. if e’s type is paragraph:

3. if e’s style is ‘Heading x’:

4. create and save (e’s text, ‘Heading x’) to list A //确定标题级别并且存入列表A

5. if e’s type is table:

6. create and save (e’s andress, ‘table’) to list A //存入表格地址到列表A

7. end for

8. for each table in tables: //遍历所有表格

9. for each cell in table: //遍历表格中所有单元格

10. if cell’s text is ‘工序’:

11. find ‘工序’ content behind cell

//确定工序位置及内容

12. find ‘工步’ content in cell where is under ‘工序’ cell //确定工序对应工步的内容

13. save (‘工序’: content, ‘工步’: content) to list B //将内容保存到列表B

14. end for

15. combine list A and B, save to jsonFile

//整合A和B的内容存入json文件中

16. open relevant xmlFile in compressive wordFile //打开对应xml文件

17. find w: tbl/w: tc/a: blip/r: embed in xml:

18. get and save img to imgFile //在xml文件中确定各个图片的位置及内容,并保存到相应图片文件夹中

19. end for

20. return jsonFile and imgFile

为进一步从多模态信息中抽取相应的知识以构建知识图谱,基于前述本体定义,针对各模态分别设计风力发电机工艺知识抽取方法.

文本模态的知识抽取操作主要包括实体识别和关系抽取,其主要流程如图5所示.图中:CRF表示条件随机场;LSTM表示长短期记忆神经网络;LTP为开源工具语言技术平台(Language Technology Platform);VOB、POB、DE、ATT分别表示句法中的动宾、介宾、“的”字、定中结构;AE代表名词短语;v、n、nd、u分别表示动词、名词、方位词、助词.

实体识别目的是将文本中存在的实体按照2.1节中定义的实体类型进行识别和标注,实体识别的效果对之后关系抽取以及最终图谱构建质量有至关重要的作用.采用Electra预训练模型获取文本词嵌入^[16],并结合双向长短期记忆神经网络(BiLSTM)与CRF^[17],最终完成实体识别任务.

Electra模型在BERT模型的基础上进行了一定改进和创新,有效减少模型体积、提高模型运算效率,通过充分学习文本字符间以及上下文的关系将风力发电机工艺文本转为相应稠密向量表示.Electra模型主要由生成器和判别器两部分组成,生成器与判别器的损失分别如下式所示:

式中:x为输入单词序列;x_t为t时刻下的输入单词序列;x'为x所有可能的后验状态;e为单词向量;h为上下文表示向量;W为权重矩阵;sigmoid为激活函数.在模型训练完成后,仅使用判别器部分即可获取文本稠密向量表示.

BiLSTM-CRF模型通过接收Electra输出的字向量进行实体类别的划分,其中BiLSTM能将从输入的稠密向量提取的语义特征与保存的双向隐层状态进行融合,更好地解决风力发电机文本中存在的较长距离语义依赖问题.CRF模型主要用于序列标注任务的判别,在实体识别模型中接收BiLSTM网络的输出并经过特征函数确定实体最终符合的特征类.

实体标注方法采用BIOES 序列标注法,B(begin)、I(inside)、E(end)分别表示这个词是一个实体的开始、内部、结束,O(outside)表示这个词不是实体,S(single)表示这个词本身就是一个实体.

为了便于现场安装工人理解,风力发电机工艺文本通常较为简练,文本句法结构简单.因此在关系抽取的部分,采用语句词性分析与实体识别结果相结合的依存语句分析法,并进一步结合句法模板匹配以提高关系识别的准确度.其中,词性分析采用开源工具LTP,得到词性结果将其与实体识别结果进行整合.依存句法包含主谓(SBV)、动宾(VOB)、间宾(IOB)、前宾(FOB)、兼语(DBL)、定中(ATT)、状中(ADV)、动补(CMP)、并列(COO)、介宾(POB)、左附加(LAD)、右附加(RAD)、独立结构(IS)、核心(HED)等14种类型.句法模板规则如表4所示.

由图5可见,经过句法分析后,“松开”与实体“操纵缆”之间有“VOB”句法关系,“松开”为操作动作,两者间即有“Operate”关系,两个实体“叶片”和“操纵缆”存在“POB”和“ATT”的句法关系,即有位置上关系,经过模板匹配方法将“POB”中的“上”归类为“On”,则两个实体之间存在相对位置为上下的关系.

风力发电机领域存在诸多专有名词,在实际环境中,通常辅以解释说明的图像.加入图像后,其视觉特征比文本所描述的知识能更直观、更形象地刻画实体的外观和方位特点,使复杂的工艺知识变得更易理解和学习.因此,图像数据作为多模态知识图谱的重要组成部分,如何在图谱中表征和关联此类视觉特征将非常重要.

借助计算机视觉处理技术对图像模态进行表征,其流程如图6所示.

具体地,使用预训练的50层ResNet模型作为主干网络,作为图像的特征提取器.ResNet提出使用残差块进行残差学习的思想,让层数的加深不会让网络效果变差,能使网络一直保存最优层的输出结果,从而解决了深度网络的退化问题^[18].图像将统一缩放到224像素×224像素大小,微调ResNet50,在最后的全连接层与softmax层之间添加一个输出为15维的全连接层以对应机舱、主轴、滑轨、偏航电机、叶片等15种风力发电机装配零件图类别,并冻结所有全连接层之前的参数,加入训练图片进行装配零件图的分类使模型更适应风力发电机领域的工艺图像,在测试集上平均正确率达到95%以上.

使用去除最后softmax层和所添加全连接层的模型输出的 1 000 维特征向量来表示图像,并作为图片实体的一项属性而存在.在图谱构建过程中,特征向量可直接用于两张图像的相似度计算,帮助去除图谱中的重复图像节点.此外,特征向量亦可为图像模态检索提供基础,对所有入库的图像提前进行向量提取即可避免每次图像模态检索对所有图像都要进行一次模型计算,可极大提升图像搜索效率.

此外,在风力发电机专业领域中,存储于数据库中的工业图像还需要遵循一定的命名规则,即需要对图像内容进行简要、规范描述,如图7所示.在进行图片属性提取时,名称及其与图像的对应关系,将作为建立跨模态关系“HasImg”的重要依据.

除图像向量表示和描述外,图像还存在其他属性,如图像存储地址、图像尺寸.图像存储地址指真实图像所存储的位置,是图谱中图像可视化的基础,图像尺寸能作为图像基本信息给使用者一定参考作用.在提取图像特征向量、图像描述、图像地址、图像尺寸后,存入构建的JSON文件中.

数据库中存在多种风力发电机三维模型,且以glTF、OBJ和STEP等格式存储,其中,glTF文件能够直观地描述产品中零件、连接件的基本信息及其之间的连接关系,因此将三维数据集统一导出为glTF格式的文件作为三维模型解析算法的输入^[19],基于图8所示的文件结构,通过解析算法从glTF 中JSON文件和Buffer文件提取结构和几何信息.图中:camera、material、texture、sampler、image、skin、animation分别表示照相机、材质、纹理、采样器、图像、蒙皮、动画.

模型语义主要存在于节点(node)、网格(mesh)、访问器(accessor)、缓冲视图(bufferView)、缓冲(buffer)中,其中scene代表整个场景的入口点,由node构成树结构组成,每个node可以索引到相应的子节点位置,对其进行解析可提取模型结构特征.meshes通过accessor来访问其真实的几何数据,accessor指访问器,是从buffer获取二进制数据的入口,其指向buffer和bufferView,通过解析meshes节点可获取构成模型的几何语义,buffer包含用于三维模型、外观几何学的数据,bufferView是指buffer的切片, 整个处理流程如图9所示.

glTF文件中的几何语义包含装配元素之间的实体名字和连接关系.这些信息需要通过模型语义抽取算法抽取出来存入JSON文件中,glTF模型语义解析算法如算法二所示,其流程如图10所示.

算法二:glTF模型语义解析算法

Input:glTF模型

Output:具有模型几何语义的JSON格式文件

1. for each k in key: //遍历gITF文件的key值k,

2. if k=nodes:

3. for each n in N: //遍历所有节点n,N为所有节点集合

4. get index of n

5. if n=mesh:

6. get index of n //获取节点的索引值

7. for each m in M: //遍历所有面m,M为所有面集合

8. if m=name:

9. get and save value of m to jsonFile

//获取面的name并存入文档

10. if m=primitives:

11. for each p in m: //遍历所有primitive

12. if p=attributes or indices:

13. get value and index of p

//获取attribute对应值和索引

14. else

15. get and save type of p, value of bufferView and buffer to jsonFile

//获取几何元素类型并通过解析将对应字段值存入文档

16. end for

17. end for

18. end for

19. end for

20. return jsonFile

利用上述方法从工艺文档中抽取到的知识可能存在大量同义异形、重复描述的数据,因此需要进行知识融合,其目的就是将所有实体有效融合统一,提高整个图谱的质量.本文中知识融合^[20]主要包括各模态内部的共指消解和跨模态的实体对齐.

共指消解是指多种表达方式对应同一实体对象的问题,例如,“激测仪”“激光测量仪”均对应“激光测量仪”这一个单元实体;模型标签中,“测风仪”和“风速计”指代同一部件.尤其在人工撰写的报告中,这种使用简化语句的现象比较普遍,因此需要统一规范的实体名称.而工业图像中也存在同一图像裁切、旋转、重新配色等冗余表达.因此,本文3种模态各自都需进行共指消解.

对于文本及模型两种模态,对各自文本标签采用Sentence-BERT模型^[21]进行相似度分析,模型如图11所示.图中:pooling表示池化.

Sentence-BERT模型借鉴孪生网络模型的框架,将不同句子输入到两个共享参数的BERT模型中,然后输出句子向量进行平均池化,在句子长度这个维度上对所有字向量求均值,获取到每个句子的句向量表示,最后将两个句子的向量u和v采用余弦相似度公式计算相似度,公式如下:

当相似度结果大于某一阈值,即认为两个表达属于同一实体,可以进行融合.对于图像模态的实体,可利用ResNet模型生成的向量评估图像特征的相似性.即同样利用余弦相似度公式式(3)对所有特征向量进行计算,以降低图像的冗余性.

在完成各模态内部的共指消解之后,跨模态实体对齐将进一步检查和连接图谱中相同实体的不同模态表示.虽然由于风力发电机工业文件特性,大部分跨模态关系包含在文件中,经过2.3节知识抽取流程已经得到,但仍存在少部分未能对齐的情况.因此,对文本-图像、模型-图像两类跨模态情形,将文本与模型的标签通过BERT得到的768维向量与图像通过ResNet50得到的 1 000 维向量进行连接,得到的整个向量表示包含了两种模态的信息,然后送入Multi-Layer Transformer中学习跨模态表示,将跨模态表示中两部分的头部状态向量联合送入Classifier中,最后通过Classifier输出“HasImg”或“None”结果以判断两种模态之间是否存在联系,跨模态对齐模型结构如图12所示.图中:IMG、CLS、SEP分别为图像标识、分类标识、分割标识.

文本-模型跨模态对齐仅发生于描述零件的场景,因此将以零件文本与零件图像、零件模型与零件图像之间对应存在文本-图像、模型-图像关系为前提,配合模型标签与文本所含实体的最大Sentence-BERT相似度检查,在零件文本和零件模型间添加“HasMod”关系,从而完成跨模态关系的补充.

以某企业风力发电机作业指导书33份、机械安装手册6份、设备维修记录8份、JSON工艺文档22份、完整装配模型文件24份、维护手册7份等共100个文件为基础数据,所含内容涉及多种模态信息,利用所提方法进行数据提取,共有353张图像、102个三维模型、4 346 条文本语句,之后进行人工标注并构建MPKG-WT.

实验使用Windows 11操作系统,NVIDIA GeForce RTX 3060 Laptop GPU 6 GB显卡,Intel© Corporation i7-12700H处理器,16 GB内存,编程语言为Python和JavaScript,数据库使用MongoDB和Neo4j进行存储,实验参数设置如表5所示.

对于文本实体识别和关系,抽取模型均按照 8∶1∶1的比例划分标注语料为训练集、验证集和测试集自动进行测试,其他模态实体由于直接提取,取10%与文本实体测试数据汇总为总实体.对于跨模态之间的关系,抽取10%进行人为核验,将结果和文本关系测试数据汇总为总关系,抽取结果准确性的评价分别从实体和关系两方面采用F_1-Score进行评估^[10],其计算公式如下:

式中:精确度P_e、P_l分别为识别正确的实体数和识别实体数之比、识别正确的关系数和识别关系数之比;召回率R_e、R_l分别为识别正确的实体数和总实体数之比、识别正确的关系数和总关系数之比.表6为所建立的风力发电机多模态图谱知识抽取的整体评估结果,F_1-Score值均达到0.8以上,可见在一致性上是可靠的^[22].

利用第2节的抽取方法将各类数据进行抽取,将得到的实体与关系存入Neo4j数据库中,再送入前端可视化模块进行可视化展示,如图13所示.基于图数据库的CQL语法可以便捷地查询每个节点的属性以及各节点之间的关系,如图14所示,文本节点显示各条属性值,图像节点可进行图像的可视化以及图像相关属性值,模型节点支持三维模型的可视化以及模型所固有的基本属性.表7为图谱所有实体和关系数量统计,共有实体 1533 个,关系3382 条.

MPKG-WT中包含大量工艺路线,利用知识图谱可以辅助设计人员进行工艺重用以及工艺的快速设计,从而提高工艺设计效率.如图15所示为辅助工艺设计系统界面.工程师进行工艺设计时,可以利用知识检索框进行相似历史工艺的检索和复用,并且可以输入图像进行检索相似图像所属工艺.若要对知识图谱补充和更新,则可以将完成的新工艺上传到数据库中进行专家审查,通过审查后新工艺会自动转化成相应节点结构加入图谱,对其进行更新补充.

为测试和验证多模态知识图谱的效用,以某型号风力发电机塔筒结构的工艺设计任务为应用测试场景,验证工艺知识重用的有效性.在该任务中,针对从塔筒吊具安装到塔底触摸屏安装共16个任务步骤,对每个步骤返回前3个装配工艺搜索结果,并邀请一线设计人员判断该工艺是否对装配任务有帮助,得到工艺重用准确率,即Hit@3.为进一步对比多模态数据为装配工艺图谱带来的跨模态检索和查询能力,将进一步对比去除图像和模型模态的知识图谱.表8为不同模态知识图谱在该工艺设计任务中的表现对比.由表可见,尽管构建多模态图谱将花费更多时间,但单次知识检索耗时并没有太大差距.在实际场景中,由于知识图谱通常预先构建完成,所以并未对设计任务的执行造成较大影响.而从完成工艺设计任务耗时方面来看,多模态知识图谱将起到较大辅助作用,有效缩短设计耗时,提升工艺重用准确率,尤其是包含3种模态的图谱.其具体优势体现在跨模态检索能力.如图16所示,在搜索框中可直接上传“塔筒”相关图片对多模态知识图谱进行搜索.工程师可在搜索结果栏中看到所有与“塔筒”有关的工艺属性信息以帮助工艺的设计.在右侧图谱可视化模块中,也可显示所有“塔筒”相关节点,并且节点信息可显示不同模态的所有信息.在复用历史工艺进行修改时,可选用检索推送出的历史工艺作为复用依据,继承其工艺信息,并在工艺设计栏上显示.也可直接从右侧将关联的文本、图像、模型模态节点信息拖入设计栏中,直接进行所需修改完成工艺设计,因此大幅提升了设计任务中对多模态关联实体的管理和运用效率.

风力发电机生产过程中留下的工艺知识通常分散于多源异构工艺文档中,主要包含三维模型、自然文本、图像等多种模态数据,造成数据维护与工艺重用成本高、效率低.为此,提出一种基于多源异构数据的风力发电机多模态工艺图谱建模方法,主要成果和贡献可总结为以下三方面:

(1) 基于风力发电机工艺特点,从多个层次、多种模态角度定义实体类与关系类,以三元组的形式将不同知识互相联系,构建风力发电机多模态工艺图谱本体模型.

(2) 描述了针对不同模态数据所采用的相应模态知识抽取方法,利用实体对齐和共指消解等技术强化跨模态信息之间的关联,实现基于本体模型的图谱自动实例化.

(3) 以企业数据为例实现风力发电机多模态工艺图谱可视化,验证了构建方法的可行性,并设计开发辅助工艺设计系统,证明图谱对于工艺重用的有效性.

后续在所提多模态图谱的基础上会添加更多数据进行扩充,并且会对多模态信息融合进行研究,尝试更多先进的方法提高图谱构建质量.在图谱应用方面,未来将结合图神经网络以探究工艺自动补全生成的可行性.