上海交通大学学报

上海交通大学学报, 2024, 58(4): 534-544 doi: 10.16183/j.cnki.jsjtu.2023.011

电子信息与电气工程

不完备数据下的聚酯熔体特性黏度预测方法

毕金茂1, 张朋,2, 张洁2, 赵春财3, 崔利3

1.东华大学 机械工程学院,上海 201620

2.东华大学 人工智能研究院,上海 201620

3.新凤鸣集团湖州中石科技有限公司,浙江 湖州 313000

Polyester Melt Characteristic Viscosity Prediction Method Under Incomplete Data

BI Jinmao1, ZHANG Peng,2, ZHANG Jie2, ZHAO Chuncai3, CUI Li3

1. College of Mechanical Engineering, Donghua University, Shanghai 201620, China

2. Institute of Artificial Intelligence, Donghua University, Shanghai 201620, China

3. Xinfengming Group Huzhou Zhongshi Technology Co., Ltd., Huzhou 313000, Zhejiang, China

通讯作者: 张 朋,讲师;E-mail:zhangp88@dhu.edu.cn.

责任编辑: 王一凡

收稿日期: 2023-01-10   修回日期: 2023-05-22   接受日期: 2023-06-1  

基金资助: 国家自然科学基金资助项目(52005099)
中央高校基本科研业务费专项(223202100044)

Received: 2023-01-10   Revised: 2023-05-22   Accepted: 2023-06-1  

作者简介 About authors

毕金茂(1999-),硕士生,从事聚酯熔体质量预测与优化研究.

摘要

特性黏度是衡量聚酯熔体质量的关键指标,对其进行精准预测有利于提前发现聚酯熔体潜在的质量问题,及时调整工艺参数,减少企业损失.考虑到聚酯熔体生产过程的数据不完备性、数据时序性以及高维冗余性,提出了不完备数据下聚酯熔体的特性黏度预测方法.针对聚酯熔体极端生产环境造成的数据不完备问题,设计了以卷积神经网络判别器和注意力长短期记忆神经网络生成器为架构的缺失数据生成对抗网络(MDGAN),通过对抗生成机制实现了缺失数据的填充.针对聚酯熔体生产过程中高维冗余和时序双向因果特性,设计了基于极端梯度提升双向门控循环单元(XGBoost-BiGRU)的特性黏度预测模型,通过极端梯度提升算法进行特征筛选,获取预测模型输入变量,再利用双向门控循环单元捕捉数据的时序双向因果关系,实现特性黏度的精准预测.浙江某聚酯纤维生产企业的实际数据测试结果表明,MDGAN算法在不同缺失率数据集下的填充精度均优于KNN、RF、MICE、GAIN数据填充算法,XGBoost-BiGRU特性黏度预测方法较STL-GPR、CAGRU、BiGRU算法优势显著,结合MDGAN的特性黏度预测方法能有效解决数据不完备下的聚酯熔体特性黏度预测问题.

关键词： 特性黏度预测; 不完备数据; 生成对抗网络; 循环神经网络

Abstract

Characteristic viscosity is a key indicator of the quality of polyester melts, whose accurate prediction can help to identify potential quality problems of polyester melts in advance, adjust the process parameters in time and reduce enterprise losses. Considering the data incompleteness, data time series and high dimensional redundancy of the polyester melt production process, a method is proposed to predict the characteristic viscosity of polyester melt under incomplete data. A missing data generative adversarial nets (MDGAN) with a convolutional neural network discriminator and an attention long short-term memory neural network generator is designed to address the data incompleteness problem caused by the extreme production environment of polyester melts, and the missing data is filled by the adversarial generation mechanism. The extreme gradient boosting-bidirectional gated recurrent unit (XGBoost-BiGRU) is designed to predict the viscosity of polyester melts based on high dimensional redundancy and temporal characteristics prediction. The actual data test results of a polyester fiber manufacturer in Zhejiang show that the filling accuracy of the MDGAN algorithm at different missing rate data sets is better than that of data filling algorithms such as KNN,RF,MICE,and GAIN. The XGBoost-BiGRU characteristic viscosity prediction method has significant advantages over STL-GPR, CAGRU, BiGRU. In combination of MDGAN characteristic viscosity prediction, the method proposed can effectively solve the problem of predicting the characteristic viscosity of polyester melts under incomplete data.

Keywords： intrinsic viscosity prediction; incomplete data; generative adversarial networks (GAN); recurrent neural networks (RNN)

PDF (10119KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

毕金茂, 张朋, 张洁, 赵春财, 崔利. 不完备数据下的聚酯熔体特性黏度预测方法[J]. 上海交通大学学报, 2024, 58(4): 534-544 doi:10.16183/j.cnki.jsjtu.2023.011

BI Jinmao, ZHANG Peng, ZHANG Jie, ZHAO Chuncai, CUI Li. Polyester Melt Characteristic Viscosity Prediction Method Under Incomplete Data[J]. Journal of Shanghai Jiaotong University, 2024, 58(4): 534-544 doi:10.16183/j.cnki.jsjtu.2023.011

聚酯纤维是我国纺织行业的主要原材料,其中聚酯熔体直接决定了聚酯纤维的强度和耐热性,聚酯熔体的质量通常用特性黏度来评价[1],特性黏度是反映聚酯熔体流动的难易程度,度量聚酯熔体流动阻力的标准单位.当前聚酯车间通过熔体输送泵的出口压力来监测特性黏度.聚酯熔体的合成是典型的连续性生产,它需要经过酯化、预缩聚、终缩聚等工序.上游工艺参数一旦发生波动,熔体输送泵需要经过一段时间才能检测到特性黏度,这种事后监测的方法不利于及时发现熔体质量波动,进而导致聚酯纤维在纺丝卷绕阶段出现飘丝、断丝等诸多严重质量问题[2].通过预测的手段可以提前发现聚酯熔体的特效黏度变化,指导生产技术人员及时调整工艺参数,进而保证特性黏度的稳定性.因此,研究聚酯熔体的特性黏度预测方法具有十分重要的意义.

目前关于聚酯熔体特性黏度预测的研究主要可以分为基于机理的方法和数据驱动的方法两种[3].基于机理的方法需要分析生产过程中复杂的物化反应,其中反应温度、压力、转速等是影响其质量的主要物理因素.文献[4]中通过反应动力学方程、物料平衡方程和气液平衡方程建立了机理模型,实现了特性黏度预测.但是该方法是基于理想状态下建模的,无法考虑到众多的影响因素,不适合实际复杂生产.数据驱动的方法只需要研究数据与数据之间的关系,随着传感器技术的发展,数据驱动的方法已经成为当前特性黏度预测问题的主流研究方向[5].文献[6]中提出一种基于时间卷积和注意力门控神经网络的特性黏度预测方法,强化了提取时序数据特征能力,挖掘了时序数据长期依赖关系.为了提取聚酯聚合过程的时序关系并兼顾数据非线性特点,Geng等[7]提出一种基于组合核函数的特性黏度预测模型,通过分形维数方法提取特征并且将基于局部加权回归的季节性趋势分解过程(Seasonal-Trend decomposition procedure based on Loess,STL)与核函数相结合来提取时序数据的周期性,最终对特性黏度实现有效预测.文献[8]中提出一种基于双流λ门控递归单元网络的特性黏度预测方法,通过设计λ双因子来改变门控递归单元中存在的线性约束并且丰富了时序特征信息,最终提高了网络模型的预测精度.

但是以上这些数据驱动方法并未考虑到聚合过程中存在的数据缺失情况和聚合过程数据存在的双向因果关系,即下游工艺和上游工艺会存在相互影响的关系.针对数据不完备问题,Pan等[9]针对数控加工过程中数据不完备问题,通过使用生成对抗网络(Generative Adversarial Network,GAN)来填充数据再进行能耗预测,最终在能耗预测的精度上取得了更好的效果.Liu等[10]使用感知卷积神经网络来解决数据缺失问题,再使用随机配置网络来预测短期电压稳定性,实验结果表明该方法在预测短期电压稳定性上误差更小.文献[11]中表明,通过对催化石脑油重整过程中的缺失数据进行填充,可以提高辛烷值预测模型的预测性能.以上文献证明了,通过填充缺失数据,再使用基于填充的数据进行预测,能够有效提高模型的预测精度.生成对抗网络作为一种可以生成图像、音频、文本等数据的深度学习模型,它相比于其他的填充方法,如插值、回归等方法,能够更好地保留数据集的统计分布和模式,并且生成的缺失数据可以与真实数据融合得更加自然和逼真[12].此外,GAN还可以通过生成大量的模拟数据来扩充数据集,从而增加数据的多样性和数量.这可以帮助模型更好地进行训练,提高模型的准确性和鲁棒性.因此,采用GAN填充缺失数据更有优势.

针对数据间存在的双向因果关系,肖竹等[13]提出一种基于双向循环神经网络 (Bi-directional Recurrent Neural Network, BiRNN)的车辆轨迹重构算法,利用多源数据融合实现双向加权轨迹重构,解决定位信号中断导致的车辆轨迹数据不准确和不完备问题.Wang等[14]通过双向长短期记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)提取文本前后双向因果关系并融入多特征,实现了中文电力调度文本精准识别.文献[15]中提出一种基于BiLSTM的特性黏度预测方法,通过BiLSTM提取双向的时序因果关系,实现了特性黏度动态预测.以上文献表明了,双向结构的循环神经网络对于解决具有双向因果关系的问题具有优势.

因此,本文提出一种不完备数据下聚酯熔体的特性黏度预测方法.针对数据不完备问题,设计了以卷积神经网络判别器和注意力长短期记忆神经网络生成器为架构的缺失数据生成对抗网络(Missing Data Generative Adversarial Nets, MDGAN),通过对抗生成机制实现了缺失数据的填充.针对聚合过程工业数据的高维冗余和时序双向因果关系,设计了基于极端梯度提升算法和双向门控循环单元的特性黏度预测模型(eXtreme Gradient Boosting-Bidirectional Gated Recurrent Unit, XGBoost-BiGRU),通过极端梯度提升算法进行特征筛选,获取预测模型输入变量,通过双向网络结构捕捉数据的时序关系,实现特性黏度预测.

1 不完备数据下聚酯熔体的特性黏度预测框架

在聚酯熔体实际生产过程中,由于传感器故障、传感器数据采样频率不一致、人为失误等原因,这些缺失的传感器数据会丢失大量有效信息,阻碍模型挖掘数据之间的关联性,降低了模型预测的精度.直接删除空白处或者用平均数、中位数等传统的填补法忽略了聚合过程数据之间的时序关系[16],填补后的数据缺乏连续性和趋势性,使用此类方法填充后的数据进行预测,模型精度不高.因此亟需一种将聚合过程缺失数据高精度填补的方法,提高聚合过程传感器数据的质量和利用率,为后续特性黏度的预测打下夯实的基础.

聚合过程采集的数据可以分为2种类型.第1种是不随生产线上其他因素而改变的独立变量,如各类泵转速、浆料密度、施胶剂注入压力等.当这类数据缺失时,只需复制填充即可.第2种是在生产过程中会发生变化的耦合变量,如预缩聚反应温度、低聚物流量、预缩聚压差等;其次,当数据缺失率过高,数据分布规律难以挖掘,这种情况下无法对缺失数据进行填充.

针对聚合过程实际生产中的数据不完备问题,提出一种不完备数据下特性黏度预测框架,如图1所示,该框架主要包括聚合过程传感器数据获取、不完备数据填充、数据特征筛选和特性黏度预测4个部分.具体步骤如下.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   不完备数据下聚酯熔体的特性黏度预测框架

Fig.1   A framework for predicting characteristic viscosity of polyester melts with incomplete data


(1) 聚合过程传感器数据获取:在聚合生产过程中,使用温度、压力、流量等传感器对聚合过程各类工艺参数进行监测,采集各类传感器数据并上传分布式控制系统(Distributed Control System, DCS),为后续聚酯熔体特性黏度预测提供数据.

(2) 不完备数据填充:针对不完备聚合过程数据,通过掩码向量对缺失数据空白位置进行标记,对缺失位置加入噪声,通过GAN的生成对抗机制填充缺失数据,得到完整的聚合过程数据.

(3) 数据特征筛选:通过极端梯度提升算法对完整的聚合过程数据进行特征筛选,选择与特性黏度相关性强的特征作为后续特性黏度预测模型的输入.

(4) 特性黏度预测:将筛选后的数据划分为训练集、测试集,利用训练集对特性黏度预测模型进行迭代训练,通过测试集评估模型的泛化能力,实现聚酯熔体特性黏度的预测.

2 基于GAN的不完备数据填补方法

针对聚酯熔体极端生产环境造成的数据不完备,设计了以生成对抗网络为框架的缺失数据填充方法.该方法采用卷积神经网络(Convolutional Neural Network, CNN)作为判别器,利用卷积层强大的特征提取能力实现数据真伪的精确识别;使用注意力长短期记忆(Long Short Term Memory-Attention, LSTM-Attention)神经网络作为生成器,其中LSTM学习时序数据的周期性,Attention机制解决序列过长导致的遗忘问题.最终,通过对抗生成机制实现了缺失数据的填充.

2.1 基于LSTM-Attention的数据生成器

聚合过程中采集的传感器数据属于时序数据,具有一定的周期性并且其时间跨度非常大.LSTM作为一种循环神经网络,虽然可以通过门结构控制细胞状态信息的删减,实现对信息的记忆功能,但是随着时间跨度的增加,其特征记忆能力会开始衰弱[17].针对该问题,设计了LSTM-Attention生成器,利用Attention机制对LSTM输出的数据赋予不同权重,避免重要信息随着生成器训练次数的增加而消失[18],从而突出重要信息的影响,使得生成器更容易捕捉时序关系, 生成的数据具有连续性和趋势性.

聚合生产线上的传感器数据表示为X=[x1x2 … xn],每个传感器数据均可表示为xi=[xi,1xi,2 … xi, j nulli,k xi,l … xi,t],xi,j表示第i个传感器数据j时刻的数据点,nulli,k表示第i个传感器k时刻的数据是缺失数据.

填补聚合过程缺失数据过程如图2所示.首先将序列中第1个缺失值nulli,k前的所有数据序列x<nulli, k=[xi,1xi,2 … xi,j]作为LSTM-Attention的输入,经过计算,缺失值被填充为gi,k=nulli,k;以此类推,将每个缺失值nulli,q前的数据序列(包含已填充的缺失值)x<nulli,q=[xi,1 … gi,k … xi,p]作为输入,缺失值被填充为gi,q=nulli,q,其余缺失值都这样依次生成,直到生成最后一个缺失值.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   填补聚合过程缺失数据过程

Fig.2   Filling in missing data processes for aggregation processes


计算公式如下所示:

${{f}_{i}}_{,t}=\sigma ({{w}_{f}}\cdot \left[ {{h}_{i, ~ t-1}} ~ {{x}_{i, ~ t}} \right]+{{b}_{f}})~$
${{g}_{i}}_{,t}=\sigma ({{w}_{g}}\cdot [{{h}_{i}}_{,t-1}~{{x}_{i}}_{,t}]+{{b}_{g}})$
${{D}_{i}}_{,t}=\tan h({{w}_{c}}\cdot [{{h}_{t}}_{-1}~{{x}_{i}}_{,t}]+{{b}_{c}})$
${{C}_{i}}_{,t}={{f}_{i}}_{,t}{{C}_{i}}_{,t-1}+{{g}_{i}}_{,t}{{D}_{i}}_{,t}$
${{o}_{i}}_{,t}=\sigma ({{w}_{o}}\cdot [{{h}_{t}}_{-1}~{{x}_{i}}_{,t}]+{{b}_{o}})$
${{h}_{i}}_{,t}={{o}_{i}}_{,t}\tan h({{C}_{i}}_{,t})$

式中:xi,t和hi,t表示第i个传感器t时刻的输入数据和LSTM的隐藏状态输出;Ci,t-1和hi,t-1表示第i个传感器t-1时刻的单元状态和隐层状态输出;fi,t, gi,t, oi,t, Ci,t, Di,t分别表示第i个传感器t时刻LSTM的遗忘门、输入门、输出门、单元状态、单元状态更新值的输出;wf, wg, wo, wc和bf, bg, bo, bc分别代表对应的权重矩阵和偏置项;σ(·)为sigmoid函数.

将LSTM 的隐藏状态作为注意力层的输入,并设计查询向量q和打分函数J,利用打分函数J得到查询向量与输入向量之间对应的分数,通过softmax函数对分数进行归一化处理,转换为权重之和为1的概率分布.最后,根据加权求和得到注意力值a,以此来保证对重要信息的保留,避免重要信息随着生成器训练次数的增加而消失.具体计算公式如下:

$J({{h}_{i}}_{,t},q)=V\tan h({{W}_{a}}{{h}_{i}}_{,t}+Uq)$
${{a}_{i}}=\text{soft}\max (J({{h}_{i}}_{,t},q))=\frac{\exp \left( \text{J}\left( {{h}_{i,t}},\text{q} \right) \right)}{\overset{N}{\mathop{\mathop{\sum }_{j=1}}}\,\exp \left( \text{J}\left( {{h}_{i,t}},\text{q} \right) \right)}$
$a=\overset{N}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,{{a}_{i}}{{h}_{i}}_{,t}$

式中:Wa, U, V为参数矩阵;ai表示查询向量在每个输入上的权重大小.

2.2 基于CNN的数据判别器

针对聚合过程中传感器数据高维冗余的特点,利用CNN强大的特征提取能力以及卷积核的权重共享特性,可以解决数据冗余的特点并且降低模型复杂度[19].此外,CNN在处理空间数据也具有优势,通过多个卷积核对数据的局部区域进行局部特征提取,可以提取相邻传感器数据的特征空间关联性.因此将CNN作为判别器可以解决聚合过程数据的高维冗余和空间关联性,对聚合过程数据进行降维,可以快速判断数据的真实性.

假设聚合过程有n种传感器,传感器时间长度为t,则聚合过程传感器数据为X∈Rt×n,对传感器数据集进行卷积操作,卷积核的权重状态与对应的聚合过程数据相乘,并加上偏置项,如图3所示.为了使得模型具有非线性拟合能力,使用激活函数ReLU,公式如下:

$Y=f(X*W+b)$

式中:f(·)是ReLU激活函数;W是卷积核的状态矩阵;X是卷积核对应的数据矩阵;b是偏置项.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   卷积操作原理示意图

Fig.3   Schematic diagram of principle of convolution operation


CNN提取图像特征,通常是将卷积核设置成3*3或5*5来提取图像上各个区域的局部信息.而一维卷积通常是提取固定长度的信息特征,一个卷积核对应一段完整的数据.考虑到聚合过程传感器数据时间跨度长并且各个传感器之间具有空间关联性,设置卷积核大小为3*10,每结束一次卷积操作,窗口滑动1个单位距离.使用该大小的卷积核,既可以保证提取各个传感器之间的空间关联性,又可以保证提取传感器数据的趋势性.

通过式(10)计算并将计算结果进行一维展开,把一维向量输入至全连接神经网络,进行二分类预测,以此来判断数据真实与否.

3 基于极端梯度提升算法和双向门控循环单元的特性黏度预测方法

针对聚酯纤维聚合过程中工艺参数的高维冗余和时序双向因果特性,提出一种基于极端梯度提升算法和双向门控循环单元的特性黏度预测模型.如图4所示,该模型中的极端梯度提升算法用于对聚酯聚合过程变量和特性黏度之间的相关性分析,对特征的相关程度从高到低进行排序筛选,并对其进行加权,降低后续预测模型计算复杂度.双向门控循环单元将加权得到的输入变量提取时序特征,最后通过反向传播神经网络(Back Propagation Neural Network,BPNN) 回归层完成对特性黏度的预测.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   极端梯度提升算法和双向门控循环单元特性黏度预测模型

Fig.4   XGBoost-BiGRU characteristic viscosity prediction model


3.1 基于极端梯度提升算法的聚合过程特征筛选

方法 聚酯聚合过程采集的数据具有高维冗余的特点,通过极端梯度提升算法计算出每个特征和输出值之间的重要程度,筛除相关性低的特征,从而提高模型精度[20].在极端梯度提升算法中,如果一个特征被划分的次数越多,则表明该特征越重要,因此可以从变量中选出若干个强相关特征.

极端梯度提升算法的目标函数如下:

$O=\overset{r}{\mathop{\underset{S=1}{\mathop \sum }\,}}\,l({{y}_{S}},{{\hat{y}}_{S}})+\overset{K}{\mathop{\underset{S=1}{\mathop \sum }\,}}\,\Omega ({{f}_{p}})$

式中:yS和y^S分别表示第S个目标的实际值和预测值;r和K分别表示样本数量和样本特征参数的总数;$l({{y}_{S}},{{\hat{y}}_{S}})$表示预测值和实际值之间的损失函数;fp表示决策树的结构;Ω(fp)表示该决策树的复杂程度,

$\Omega ({{f}_{p}})=\gamma T+\frac{1}{2}\lambda {{\left( \tau \right)}^{2}}$

T表示叶子节点数量;γ表示节点切分难度;τ表示叶子节点向量;λ表示L2正则化系数.

极端梯度提升算法通过遍历决策树的所有分裂叶子节点,选择分裂后目标函数增益最大的叶子节点进行分裂,经过第z次迭代计算,目标函数公式如下:

${{O}^{(z)}}=\overset{r}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,~[l({{y}_{S}},\hat{y}_{S}^{\left( z-1 \right)})+{{f}_{z}}({{x}_{S}})]+\Omega ({{f}_{p}})+C~~$

式中:fz(xS)是式(12)中对模型改进最大的一项;C是常数项.

最终优化的目标函数表示为

${{O}^{t}}=-\frac{1}{2}\overset{T}{\mathop{\underset{j=1}{\mathop \sum }\,}}\,\frac{G_{\text{p}}^{2}}{{{H}_{\text{p}}}+\lambda }$

式中:Gp=∑S∈IpgS, Hp=∑S∈IphS,gS和hS分别是对l(yS, y^S)的第S个样本处损失函数的一阶导数与二阶导数,Ip为决策树的叶节点.

式(14)可以被视为评价输入变量与输出值相关性程度的函数.通过该公式对聚酯纤维聚合过程中每个特征在所有提升树中的结果进行加权求和然后取平均值,得到每个特征的重要性得分,以此筛选出相关性较大的输入变量作为特性黏度预测模型的输入.

3.2 双向门控循环单元预测模型

聚合过程中不仅上游工艺会影响下游工艺,下游工艺也会影响上游工艺顺序.例如,在酯化反应中需要不断加入乙二醇和催化剂,而酯化反应会生成水和过量的乙二醇,它们被送入分离塔进行精馏分离,回收其中的乙二醇并用于下一次的酯化反应.传统的循环神经网络,信息的传输是从前往后的,它只能提取来自前一时刻的时序关系,这种单向的传输结构不适用于提取聚合过程的时序数据关系.

双向循环神经网络采用双向的信息传递结构,通过同时对2个双向循环网络进行正向和反向计算,将正向和反向的计算结果作为最终的输出结果,这样的结构不仅可以继承前一时刻的状态信息还可以接受后一时刻的信息,扩大了时序关系的范围[21].因此双向循环神经网络更适用于提取聚合过程数据的时序关系.门控循环单元作为长短期记忆神经网络的变体也是一种常用于处理时序数据的神经网络,比长短期记忆神经网络训练更为简单[22],因此针对聚合过程数据的特点并且考虑到双向循环神经网络本身存在的梯度爆炸和短时记忆问题,本文引入双向门控循环单元对特性黏度进行预测,其原理结构如图5所示.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   双向门控循环单元原理结构

Fig.5   Structure diagram of BiGRU


双向门控循环单元分别从左边和右边读取聚合过程数据,并依次将2个门控循环单元读取的数据输入到各自对应的方向,最终得到输出.则t时刻状态输出公式更改为

${{h}_{t}}=\tan h({{W}_{t}}\cdot ~[\begin{matrix} {{{\overset{\scriptscriptstyle\leftarrow}{h}}}_{t}} & {{{\vec{h}}}_{t}}]) \\ \end{matrix}$

式中:h←t和h→t分别表示正方向和反方向t时刻的状态输出;Wt表示t时刻的权重矩阵.

4 实例验证

4.1 数据来源及实验环境

实验数据来源于浙江新凤鸣集团聚酯纤维生产线,其中聚酯纤维聚合过程生产工艺采用杜邦三釜法进行生产.本文选取聚酯纤维聚合过程车间52种传感器从2018年5月1日至2018年9月1日采集的数据,如图6所示.特性黏度预测选取的52个工艺参数包括: 苯二甲酸(Terephthalicacid, TPA)浆料配置槽转速、浆料密度、乙二醇到浆料配制槽的流量、酯化圆水温、虹吸压力、1223-H03淡化水流量、预缩聚压差、预缩聚输出温度等工艺参数.实验计算机的系统为Windows10,处理器Intel Core i5-73030HQ,内存为8 GB,显卡为Intel Dual Band显卡,实验在Pycharm 2021.3.3软件中实现.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   聚合过程采集的数据

Fig.6   Data collected by the aggregation process


4.2 缺失数据填补实验

实验从缺失数据中筛选出 2 000 条完整数据样本,每条数据时间间隔为1 min,时间跨度为 33.3 h,以确保该算法的长期稳定性.分别对数据进行 5%~30%随机缺失来保证填充算法的可靠性,并使用平均绝对误差(MAE)作为评价标准,来评价模型填补缺失数据的准确性.平均绝对误差的计算公式如下:

${{e}_{MAE}}=\frac{1}{m}\overset{m}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,\left| {{x}_{i}}-{{{\tilde{x}}}_{i}} \right|$

式中:m表示样本数量;xi表示原始数据;x~i表示模型拟合数据.eMAE的数值越小则表示模型预测精度越高,生成的数据越接近真实数据.

KNN填补算法计算复杂度低、精度高,适用于大型数据集[23].随机森林算法(RF)在处理不平衡数据上表现稳定,可以克服异常值和噪声的干扰,被逐渐用于缺失数据的填补[24].MICE填补算法可以处理多种类型数据,对于数据分布不要求,被广泛使用[25].GAIN算法精度高,通过学习数据分布拟合数据进行填充,可以用于大型数据集的填充[26].因此为了验证本文模型的有效性,通过KNN、RF、MICE、GAIN这4种缺失值填补方法进行对比,如表1所示.

表1   填充方法精度对比

Tab.1  Comparison of accuracy of filling methods

缺失
率/%		KNNRFMICEGAINMDGAN
50.1790.1820.1750.1360.082
100.2360.2210.2230.1690.113
150.3150.3070.2790.2040.168
200.3900.3680.3280.2630.201
250.4880.4470.3640.3130.257
300.5610.5220.4250.3800.316

新窗口打开| 下载CSV


通过表1可以看出,随着数据集缺失率的不断增加,5种方法的填充精度都开始下降.在以上所有方法中,数据集在时间跨度为33.3 h和缺失率为5%~30%的情况下,本文提出的方法填充精度都优于其他方法,KNN和RF这2种方法的填充精度总体上较差,MICE和GAIN优于前2种方法,但和本文提出的方法在填充精度上有所差距.

4.3 特性黏度预测实验

根据工厂生产经验,选取了对苯二甲酸混合罐压力、TPA浆料比配置槽转速、总循环罐液位等52个变量作为模型的输入,经过极端梯度提升算法对输入特征的筛选,得到了酯化罐温度、酯化罐压力、预缩聚压差等32个高相关性的特征,以此为基础再对特性黏度进行预测.本文将文献[6]中提出的CAGRU、文献[7]中提出的STL-GPR和BiGRU这3种方法与本文提出的XGBoost-BiGRU预测方法进行对比.预测结果如图7所示.图中:o表示实际值与预测值之间的误差,具体公式如下所示:

o=p-p-

式中:p表示实际值;p-表示预测值.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7   预测精度误差

Fig.7   Error of prediction accuracy


在输入数据不存在数据缺失情况下,STL-GPR误差为0.120,BiGRU的平均绝对误差为0.076,CAGRU的平均绝对误差为0.071,对比其他方法,本文提出的方法预测精度最高,其平均绝对误差为0.043,最大预测误差为 0.062 0,最小预测误差为 0.000 8,可以准确预测特性黏度η的数值.实例数据对比验证如表2所示.

表2   实例数据对比验证

Tab.2  Comparison verification of instance data

编号误差
η/
(dL·g-1)		STL-GPRBiGRUCAGRUXGBoost-
BiGRU
150.440.1080.0770.0870.047
250.400.0880.0870.0780.048
350.310.0960.0830.0810.042
450.210.0970.0780.0610.055
550.100.1210.0880.0750.036
650.130.1100.0760.0830.017
750.160.1030.0710.0700.040
850.340.1390.0770.0790.024
949.980.1390.0850.0860.011
︙︙︙︙︙︙
9149.740.1490.0990.0720.014
9249.700.1020.1280.0710.038
9350.000.1400.1060.0800.025
9450.130.1460.1230.0760.039
9549.740.0910.1190.0840.057
9649.770.1240.0920.0500.047
9749.990.1160.1210.0560.042
9849.970.1010.1040.0570.051
9950.000.1270.1250.0670.057
10049.830.1030.1020.0420.055

新窗口打开| 下载CSV


4.4 缺失数据下特性黏度预测实验

为进一步验证本文填充缺失数据方法的有效性,分别从生产数据中截取4组数据,其缺失率分别为4.8%、10.7%、15.6%、20.3%.通过MDGAN模型进行填充后,使用STL-GPR、BiGRU、CAGRU模型对特性黏度预测,其预测精度如图8所示.该实验表明,在缺失率为4.8%、10.7%、15.6%、20.3%的情况下,通过MDGAN算法填充缺失数据生成的完备数据,再使用STL-GPR、BiGRU、CAGRU预测特性黏度,所有预测方法的精度都随着缺失率的提高而下降,但可以实现有效预测,其中BiGRU和CAGRU预测能力相近.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8   不同缺失率的预测精度误差

Fig.8   Prediction accuracy error at different absence rates


为验证本文提出的模型的有效性,将前一次实验的数据集通过MDGAN模型进行填充后,使用XGBoost-BiGRU模型对特性黏度预测.缺失率为4.8%时实验结果如图9所示,其平均绝对误差为0.045,预测值和大部分真实数据重合,只有在曲线突变处有差异,因此所提出方法在缺失率为4.8%时,可以实现准确预测.缺失率为10.7%时实验结果如图10所示,其平均绝对误差为0.088,预测值和大量真实数据重合,可以较好地拟合真实数据的波动趋势,但是无法与真实数据完全重合.因此所提出方法在缺失率为10.7%时,可以达到较好的预测精度.缺失率为15.6%时实验结果如图11所示,其平均绝对误差为0.150,预测值和部分真实数据重合,只能简单拟合波动趋势,数据波动幅度较小.因此所提出方法在缺失率为15.6%时,预测精度一般. 缺失率为20.3%时实验结果如图12所示,其平均绝对误差为0.226,预测值和少部分真实数据重合,只能拟合部分区间波动趋势,但是与真实数据数值差距不大.因此所提出方法在缺失率为20.3%时,可以实现有效预测.综上所述,本文所提出的算法在数据缺失率小于20%左右时,可以有效地解决特性黏度预测问题,相较于其他预测方法,更加符合实际生产情况.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9   缺失率4.8%的特性黏度预测精度

Fig.9   Intrinsic viscosity prediction accuracy at a missing rate of 4.8%


图10

新窗口打开| 下载原图ZIP| 生成PPT

图10   缺失率10.7%的特性黏度预测精度

Fig.10   Intrinsic viscosity prediction accuracy at a missing rate of 10.7%


图11

新窗口打开| 下载原图ZIP| 生成PPT

图11   缺失率15.6%的特性黏度预测精度

Fig.11   Intrinsic viscosity prediction accuracy at a missing rate of 15.6%


图12

新窗口打开| 下载原图ZIP| 生成PPT

图12   缺失率20.3%的特性黏度预测精度

Fig.12   Intrinsic viscosity prediction accuracy at a missing rate of 20.3%


5 结语

针对聚酯纤维聚合过程采集的工艺参数数据不完备特性、数据时序双向因果和高维冗余特性,提出了不完备数据下的聚酯纤维聚合过程特性黏度预测方法,设计了MDGAN聚合过程缺失数据插补模型,在此基础上提出了基于极端梯度提升算法和双向门控循环单元的聚合过程特性黏度预测方法.通过缺失数据填充实验、数据完备下特性黏度预测实验以及不同数据缺失率情况下特性黏度预测实验,验证了本文提出的方法在数据小范围缺失情况下,能实现特性黏度的有效预测.

参考文献

WU C, REN L, HAO K.

Modeling of aggregation process based on feature selection extreme learning machine of atomic Search algorithm

[C]// Data Driven Control and Learning Systems Conference. Suzhou, China: IEEE, 2021: 1453-1458.

[本文引用: 1]

GAO J, CHEN L, HAO K, et al.

Copula-based JITL for polyester fiber polymerization process modeling

[C]// Chinese Automation Congress. Shanghai, China: IEEE, 2020: 2628-2633.

[本文引用: 1]

PENG H, CHEN L, HAO K.

Deep transfer model with source domain segmentation for polyester esterification processes

[C]// Chinese Control and Decision Conference. Hefei, China: IEEE, 2022: 293-298.

[本文引用: 1]

RAVINDRANATH K, MASHELKAR R A.

Modeling of poly (ethylene terephthalate) reactors: 4. A continuous esterification process

[J]. Polymer Engineering and Science, 1982, 22(10):628-636.

DOI:10.1002/pen.v22:10      URL     [本文引用: 1]

ZHU X, DAMARLA S K, HAO K, et al.

Parallel interaction spatiotemporal constrained variational autoencoder for soft sensor modeling

[J]. IEEE Transactions on Industrial Informatics, 2021, 18(8): 5190-5198.

DOI:10.1109/TII.2021.3110197      URL     [本文引用: 1]

毕佳俊. 数据驱动的聚酯纤维聚合过程特性黏度预测方法[D]. 上海: 东华大学, 2022.

[本文引用: 2]

BI Jiajun. Data-driven intrinsic viscosity prediction method for polyester fiber polymerization process[D]. Shanghai: Donghua University, 2022.

[本文引用: 2]

GENG J, CHEN L, HAO K, et al.

Fractal-based combined kernel function model for the polyester polymerization process

[C]// Chinese Control and Decision Conference. Kunming, China: IEEE, 2021: 656-661.

[本文引用: 2]

XIE R, HAO K, HUANG B, et al.

Data-driven modeling based on two-stream λ gated recurrent unit network with soft sensor application

[J]. IEEE Transactions on Industrial Electronics, 2019, 67(8): 7034-7043.

DOI:10.1109/TIE.41      URL     [本文引用: 1]

PAN J, LI C B, TANG Y, et al.

Energy consumption prediction of a CNC machining process with incomplete data

[J]. IEEE/ CAA Journal of Automatica Sinica, 2021, 8(5): 987-1000.

[本文引用: 1]

LIU W, REN C, XU Y.

PV generation forecasting with missing input data: A super-resolution perception approach

[J]. IEEE Transactions on Sustainable Energy, 2021, 12(2): 1493-1496.

DOI:10.1109/TSTE.2020.3029731      URL     [本文引用: 1]

JIANG C, ZHONG W, LI Z, et al.

Real-time semi-supervised predictive modeling strategy for industrial continuous catalytic reforming process with incomplete data using slow feature analysis

[J]. Industrial & Engineering Chemistry Research, 2019, 58(37): 17406-17423.

DOI:10.1021/acs.iecr.9b03119      URL     [本文引用: 1]

ZHU G, ZHOU K, LU L, et al.

Partial discharge data augmentation based on improved Wasserstein generative adversarial network with gradient penalty

[J]. IEEE Transactions on Industrial Informatics, 2022, 19(5): 6565-6575.

DOI:10.1109/TII.2022.3197839      URL     [本文引用: 1]

肖竹, 钱鑫, 蒋洪波, 等.

基于双向RNN的私家车轨迹重构算法

[J]. 通信学报, 2020, 41(12): 171-181.

DOI:10.11959/j.issn.1000-436X.2020227      [本文引用: 1]

在复杂的城市环境中，由于存在难以避免的GNSS定位信号中断现象以及车辆行驶过程中的误差累积，易造成所收集的车辆轨迹数据不准确和不完备，因此提出一种基于双向 RNN 的私家车轨迹重构算法，使用了GNSS-OBD轨迹采集设备收集车辆轨迹信息，利用多源数据融合实现双向加权轨迹重构。同时，在轨迹重构模型中引入神经算术逻辑单元（NALU），加强深度网络的外推能力并确保轨迹预测的精度，提高算法在应对城市复杂路段时轨迹重构的稳健性；选取了实际城市路段进行了测试实验，并和现有算法进行了对比分析。通过均方根误差（RMSE）以及Google Earth对重构轨迹进行可视化展示，实验结果验证了所提算法的有效性和可靠性。

XIAO Zhu, QIAN Xin, JIANG Hongbo, et al.

Bidirectional RNN-based private car trajectory reconstruction algorithm

[J]. Journal on Communications. 2020, 41(12): 171-181.

DOI:10.11959/j.issn.1000-436X.2020227      [本文引用: 1]

To address the problem that in the complex urban environment, due to the inevitable interruption of GNSS positioning signal and the accumulation of errors during vehicle driving, the collected vehicle trajectory data was likely to be inaccurate and incomplete.a bidirectional weighted trajectory reconstruction algorithm was proposed based on RNN neural network.The GNSS-OBD trajectory acquisition device was used to collect vehicle trajectory information, and multi-source data fusion was adopted to achieve bidirectional weighted trajectory reconstruction.Furthermore, the neural arithmetic logic unit (NALU) was leveraged with the purpose of enhancing the extrapolation ability of deep network and ensuring the accuracy of trajectory reconstruction.For the evaluation, real-world experiments were conducted to evaluate the performance of the proposed method in comparison with existing methods.The root mean square error (RMSE) indicator shows the algorithm accuracy and the reconstructed trajectory is visually displayed through Google Earth.Experimental results validate the effectiveness and reliability of the proposed algorithm.

WANG M, ZHOU T, WANG H, et al.

Chinese power dispatching text entity recognition based on a double-layer BiLSTM and multi-feature fusion

[J]. Energy Reports, 2022, 8: 980-987.

[本文引用: 1]

朱秀丽. 聚酯纤维聚合过程的智能建模与多目标优化[D]. 上海: 东华大学, 2022.

[本文引用: 1]

ZHU Xiuli. Intelligent modeling and multi-objective optimization of polyester fiber polymerization process[D]. Shanghai: Donghua University, 2022.

[本文引用: 1]

ZHOU F, ZHAO L, ZHU J, et al.

Research on short-term wind power forecasting method based on incomplete data

[J]. Journal of Renewable and Sustainable Energy, 2022, 14(3): 036103.

[本文引用: 1]

COLLOBERT R, WESTON J, BOTTOU L, et al.

Natural language processing (almost) from scratch

[J]. Journal of Machine Learning Research, 2011, 12: 2493-2537.

[本文引用: 1]

倪扬帆, 杨媛媛, 谢哲, 等.

基于LSTM与注意力结构的肺结节多特征抽取方法

[J]. 上海交通大学学报, 2022, 56(8): 1078-1088.

DOI:10.16183/j.cnki.jsjtu.2021.113      [本文引用: 1]

对肺结节的形状特征、边缘特征和内部特征进行准确分类,能够辅助影像科医生的日常诊断工作,提高影像报告的书写效率.针对这一问题,提出一种基于长短时记忆(LSTM)结构与注意力结构的多任务分类模型.该模型通过注意力机制融合各个任务间的共享特征,提高当前任务的特征抽取效果.LSTM结构分类器能够有效地筛选任务间的共享特征,提高模型的信息传递效率.实验表明,相较于传统多任务结构,所提模型在公开数据集LIDC-IDRI上能够取得更好的多特征分类效果,辅助医生快捷地获取肺结节特征信息.

NI Yangfan, YANG Yuanyuan, XIE Zhe, et al.

Multi feature extraction method for pulmonary nodules based on LSTM and attention structure

[J]. Journal of Shanghai Jiao Tong University, 2022, 56(8): 1078-1088.

[本文引用: 1]

CHEN Y. Convolutional neural network for sentence classification[D]. Waterloo, Canada: University of Waterloo, 2015.

[本文引用: 1]

KARAN B.

Speech-based Parkinson’s disease prediction using XGBoost-based features selection and the stacked ensemble of classifiers

[J]. Journal of The Institution of Engineers (India): Series B, 2023, 104(2): 475-483.

DOI:10.1007/s40031-022-00851-2      [本文引用: 1]

康守强, 周月, 王玉静, 等.

基于改进SAE和双向LSTM的滚动轴承RUL预测方法

[J]. 自动化学报, 2022, 48(9): 2327-2336.

[本文引用: 1]

KANG Shouqiang, ZHOU Yue, WANG Yujing, et al.

RUL prediction method of a rolling bearing based on improved SAE and Bi-LSTM

[J]. Acta Automatica Sinica, 2022, 48(9): 2327-2336.

[本文引用: 1]

杨海柱, 江昭阳, 李梦龙, 等.

基于CS-GRU模型的短期负荷预测方法研究

[J]. 传感器与微系统, 2022, 41(9): 54-57.

[本文引用: 1]

YANG Haizhu, JIANG Zhaoyang, LI Menglong, et al.

Study on short-term load forecasting method based on CS-GRU model

[J]. Transducer and Microsystem Technologies. 2022, 41(9): 54-57.

[本文引用: 1]

BATISTA G E, MONARD M C.

An analysis of four missing data treatment methods for supervised learning

[J]. Applied Artificial Intelligence, 2003, 17(5/6): 519-533.

DOI:10.1080/713827181      URL     [本文引用: 1]

TANG F, ISHWARAN H.

Random forest missing data algorithms

[J]. Statistical Analysis and Data Mining: The ASA Data Science Journal, 2017, 10(6): 363-377.

DOI:10.1002/sam.2017.10.issue-6      URL     [本文引用: 1]

RATOLOJANAHARY R, NGOUNA R H, MEDJAHER K, et al.

Model selection to improve multiple imputation for handling high rate missingness in a water quality dataset

[J]. Expert Systems with Applications, 2019, 131: 299-307

DOI:10.1016/j.eswa.2019.04.049      URL     [本文引用: 1]

YOON J, JORDON J, SCHAAT M.

Gain: Missing data imputation using generative adversarial nets

[C]// International Conference on Machine Learning. Stockholm, Sweden: IEEE, 2018: 5689-5698.

[本文引用: 1]

/

〈 〉