基于马尔科夫决策过程的带缓存双机系统不完美维护策略

doi:10.16183/j.cnki.jsjtu.2019.270

基于马尔科夫决策过程的带缓存双机系统不完美维护策略

田雪雁, 王孟雅, 潘尔顺^,

上海交通大学机械与动力工程学院, 上海 200240

Imperfect Maintenance Policy for a Two-Machine One-Buffer System Based on Markov Decision Process

TIAN Xueyan, WANG Mengya, PAN Ershun^,

School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

通讯作者: 潘尔顺,男,教授,博士生导师,电话: 021-34206685;E-mail:pes@sjtu.edu.cn.

责任编辑: 陈晓燕

收稿日期: 2019-09-23

基金资助:

国家自然科学基金资助项目(51475289)

Received: 2019-09-23

作者简介 About authors

田雪雁(1994-),女,山东省泰安市人,硕士生,主要从事生产系统维护策略研究。

摘要

为有效解决退化系统的设备维护优化问题,对带缓存双机系统的预防性维护策略进行研究.首先,考虑两设备的随机退化,针对不完美的小修和预防性维护,通过马尔科夫过程描述系统状态.然后,基于收入和成本,建立生产系统的利润模型.最后,通过最大化长期期望利润,确定不同系统状态下的预防性维护决策.采用值迭代方法对模型进行求解,数值分析结果表明,设备的维护决策不仅取决于自身状态,还受其他设备状态和缓存量的影响.

关键词： 不完美维护; 缓存; 双机系统; 马尔科夫决策过程

Abstract

To solve the problem of machine maintenance optimization of degraded systems, the preventive maintenance policy of a two-machine one-buffer production system is studied. First, random degradations of both machines are considered. For imperfect minimal repair and preventive maintenance, a Markov process is used to describe the system state. Then, a profit model for the production system is established based on cost and income. Finally, preventive maintenance decisions in different system states are determined by maximizing long-term expected profits. The model is solved by value iteration, and numerical analysis results show that the maintenance decision of the machine depends not only on its own state, but also on the state of other machines and the amount of the buffer.

Keywords： imperfect maintenance; buffer; two-machine system; Markov decision process

PDF (1019KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

田雪雁, 王孟雅, 潘尔顺. 基于马尔科夫决策过程的带缓存双机系统不完美维护策略[J]. 上海交通大学学报（自然版）, 2021, 55(4): 480-488 doi:10.16183/j.cnki.jsjtu.2019.270

TIAN Xueyan, WANG Mengya, PAN Ershun. Imperfect Maintenance Policy for a Two-Machine One-Buffer System Based on Markov Decision Process[J]. Journal of shanghai Jiaotong University, 2021, 55(4): 480-488 doi:10.16183/j.cnki.jsjtu.2019.270

设备性能随使用时间退化,发生故障的概率增加,合理预防性维护能够有效提高设备的可用度.但进行预防性维护需要停机,而生产线设备间的退化状态不同,单台设备维护或故障都会造成产线停运.因此,常在设备间设置缓存区,以避免设备维护或故障时频繁中断生产过程.缓存的设置会影响原有的设备维护体系,而现有系统的预防性维护多凭经验决策,故有必要对带缓存生产系统的预防性维护策略的机理进行研究.

从20世纪60年代起,有学者开始关注设备维护优化问题,取得了较好的研究成果^[1,2,3,4,5].但针对带缓存生产系统维护策略的研究相对较少.Rezg等^[6]研究了生产线的预防性维护和缓存控制,设备到达维护年龄或出现故障立即维护,通过联合优化维护年龄和缓存容量,最小化平均成本.Cheng等^[7,8]针对两设备一缓存系统,研究了当上游设备退化服从几何过程、非静态伽马过程时的固定周期维护策略.Gan等^[9]考虑了维护、缓存和备件的相互影响.Niyamosoth等^[10]研究了包含一台租赁设备和缓存区的系统,优化出租人的维护周期和承租人的缓存容量以最小化总成本.Nahas等^[11,12,13]研究了维护频率与平均故障间隔时间的关系,通过遗传算法求解缓存和维护联合优化问题.Renna^[14]对串行多设备生产线进行了类似的研究.Zandieh等^[15]建立了包含生产率最大化、缓存区最小化及不合格品数最小化的多目标联合优化模型.

上述研究的优化目标多为固定的维护周期,虽然建模过程中考虑了缓存,但没有考虑特定缓存状态对维护决策的影响.因此部分学者通过建立马尔科夫模型优化设备维护策略,维护决策同时取决于设备退化状态和缓存状态.文献[16]只考虑上游设备的退化和维护,运用马尔科夫决策理论计算并证明了控制限策略是使得平均成本最优的策略.Dimitrakos等^[17]扩展了文献[16]中的模型,考虑上游设备的非平稳退化和更完善的成本结构,将维护持续时间从几何分布拓展到连续分布.Karamatsoukis等^[18]在上述研究的基础上考虑了上下游两设备的退化和维护决策.Fitouhi等^[19]则考虑在生产率水平约束下最小化总成本.Zhou等^[20]针对具有两个多组件系统和一个中间缓存区的串并联系统的预防性维护问题,开发了马尔科夫决策方法.Gan等^[21]关注了缓存、预防性维护及部件更换之间的相互作用,除维护策略外优化备件一般订单的下达时间.

这类研究多假设故障维修和预防性维护是完美的,但这在实际中难以实现.此外,已有文献多以总成本作为优化目标,但缓存区的设置不仅引起成本变化,也会延长设备运行时间进而提高产量.针对这些问题,本文在现有文献的基础上有以下创新点:①考虑系统内其他设备和缓存状态的影响,针对特定系统状态进行预防性维护决策;②考虑不完美维护,维护改善设备状态但不一定使其恢复全新,基于此构建马尔科夫状态转移模型,更符合实际生产;③用系统运行利润代替成本作为优化目标,可以更全面地衡量维护决策的效果.

本文以两设备一缓存生产系统为研究对象,同时考虑上下游设备的退化和不完美维护,以两设备状态和缓存量描述系统状态,建立离散时间的马尔科夫决策模型.以系统的长期期望运行利润最大化为目标,优化不同系统状态下的设备维护决策.

1 问题描述

本文以两设备一缓存生产系统为研究对象,如图1所示,其中M1、M2分别为生产系统的上下游设备,B为缓存区.零件从系统外部流向M1,经由M1加工后流向缓存区,M2从缓存区提取零件,加工完成后流出系统.缓存容量为K,当缓存未满且两设备运行时,M1以生产率p供应缓存,M2以生产率d(p>d)消耗缓存.一旦缓存达到容量限制,将M1生产率从p调整为d.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 两设备一缓存生产系统

Fig.1 Two-machine one-buffer production system

上下游设备的失效率随役龄的增加而增加,可在离散等距的观测周期τ=0,1,…进行检查评估以确定设备状态.以上游设备为例,M1共有3m个状态:①根据失效率将运行状态划分为1,2,…,m,数值越大表示设备状态越差;②若设备在运行状态i发生故障,则转移至状态m+i,因此m+1,m+2,…,2m表示设备的故障状态,数值越大表示故障越严重,越不易维修,设备故障后立即小修,小修完成后返回故障前状态i;③若设备在运行状态i进行维护,则转移至状态2m+i,故2m+1,2m+2,…,3m表示维护状态,数值越大表示状态越差,越不易维护,不完美维护完成后,设备有可能转移至不劣于维护前状态i的任一运行状态j,即满足1≤j≤i.同样地,M2共有3n个状态.

生产系统的状态用3个变量(i,i',κ)描述,i和i'分别表示上下游设备的状态,κ为缓存量.则生产系统的状态空间S={(i,i',κ)|i∈{1,2,…,3m},i'∈{1,2,…,3n},κ∈{0,1,…,K}}.

两设备均有3种可以执行的行动,即a,a'∈{0,1,2},0表示不采取任何措施,1和2分别表示维护和小修,行动集用Π表示.设备处于运行状态时,需要决策是否进行预防性维护,可选择行动0或1;当且仅当设备故障时选择行动2.

本文采用离散时间的马尔科夫决策过程对带缓存双机生产系统进行预防性维护决策.以最大化的系统长期运行利润为目标,决策当上下游设备分别处于不同状态,以及不同的缓存状态下,是否进行设备的预防性维护.

为便于模型的构建,结合生产实际,本文提出如下假设:

(1) 初始时刻两设备均处于最佳状态,缓存量为0;

(2) 上下游设备的状态及状态转移相互独立;

(3) 上游设备不会出现零件供应短缺,下游设备不会阻塞;

(4) 小修和预防性维护持续时间均服从几何分布;

(5) 由于设备故障是非计划性的突发情况,因此小修过程相比于预知的维护更为复杂,故小修的期望完成时间和成本均大于预防性维护^[22].

2 马尔科夫决策模型

2.1 设备状态转移模型

以上游设备为例,令p_ij 为M1从运行状态i转移到运行状态j的概率,λ_i 为运行状态i的设备故障率.由于设备退化不可逆,若在运行状态i不进行维护,下一周期只会:①转移到更差的运行状态或保持现有状态,故当且仅当1≤i≤j≤m时,p_ij>0,否则p_ij=0;②以概率λ_i 发生故障,转移至状态m+i,即p_i(m+i)=λ_i.因此,满足 $\overset{m}{\sum_{j = i}} p_{ij} + p_{i (m + i)} = 1 .$

故障状态m+i不能从i以外的其他运行状态到达,即对于1≤i,j≤m且i≠j,满足 $p_{j (m + i)} = 0 .$ μ_i 为状态m+i的小修成功率,当M1处于故障状态m+i,下一周期只会:①小修完成,以概率μ_i转移至故障前运行状态i;②小修未完成,状态不变,即 $p_{(m + i) (m + i)} = 1 - μ_{i} .$ M1运行状态和故障状态下的状态转移如图2所示.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 M1运行和故障状态转移

Fig.2 Transition of working and failure states of M1

当M1在运行状态i执行维护,处于维护状态2m+i时,以ν_i 表示维护成功率,则下一周期只会:①维护完成转移至运行状态j(1≤j≤i),满足 $\overset{i}{\sum_{j = 1}} p_{(2 m + i) j} = ν_{i}, 对于 1 \leq i < k \leq m, p_{(2 m + i) k} = 0;$ ②维护未完成保持状态2m+i,即 $p_{(2 m + i) (2 m + i)} = 1 - ν_{i} .$ M1处于维护状态时的状态转移如图3所示.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 M1维护状态转移

Fig.3 Transition of maintenance states of M1

小修和维护的成功率与维护前的运行状态i有关,对于1≤i<j≤m,满足μ_i>μ_j 以及ν_i>ν_j.根据假设(5),0<μ_i<ν_i<1.

相应地,M2从运行状态i'转移到运行状态j'的概率用p'i_'j' 表示,设备故障率为λ'_i',小修和维护成功率分别为μ'_i' 和ν'_i'.

2.2 系统状态转移概率

对于带缓存双机系统的状态转移概率,若系统在周期τ处于状态s,当采取策略π=(a,a')时,下一周期系统状态转移至状态u的概率P_su (π)为

(1)

P_{(i, i', κ) (j, j', \min {κ + p - d, K})} (0,0) = p_{ij} p'_{i'j'}

(2)

P_{(i, i', κ) (m + i, j', \min {κ + p - d, K})} (0,0) = λ_{i} p'_{i'j'}

(3)

P_{(i, i^{'}, κ) (2 m + i, j^{'}, \max \max \{κ - d, 0\})} (1,0) = (1 - ν_{i}) p'_{i^{'} j^{'}}

(4)

P_{(j, j', κ) (i, i', κ)} (1,1) = p_{(2 m + j) i} p'_{(2 n + j') i'}

(5)

P_{(i, n + i', κ) (j, i', \min {κ + p, K})} (0,2) = p_{ij} μ'_{i'}

(6)

P_{(m + i, j', κ) (i, i', κ)} (2,1) = μ_{i} p'_{(2 n + j') i'}

(7)

P_{(m + i, n + i', κ) (m + i, n + i, κ)} (2,2) = (1 - μ_{i}) (1 - μ'_{i'})

上述公式均满足1≤i≤j≤m,1≤i'≤j'≤n,0≤κ≤K.式(1)、(2)表示两设备均运行时的转移概率;式(3)表示M1在状态i进行维护且本周期内维护未完成的概率;式(4)表示两设备均停机维护且均在本周期完成的概率;式(5)表示M1运行,M2故障小修且修复完成的概率;式(6)表示M1小修,M2维护且均完成的概率;式(7)为两设备同时小修且本周期内未修复成功的概率.其他状态下的转移概率与上述概率结构相似,不再赘述.

上述状态转移概率公式体现了状态空间的选择.以式(1)、(2)为例,当本周期初的系统状态为(i,i',κ)且采取的策略为两设备均不维护时,本周期内两设备同时运行.当本周期结束时,缓存量只可能增加为κ+p-d或因容量限制保持K不变,且两设备只可能以相应概率转移至运行状态j和j'或出现故障停机.即下一周期生产系统只会在状态空间中选择其可能到达的状态,到这些状态的转移概率大于0,而到其他状态的转移概率为0.

2.3 利润函数

若周期τ系统处于状态s并采取策略π=(a,a'),在该周期内取得的利润用R(s,π)表示.R(s,π)为该周期内的收入与成本之差,本文考虑的成本结构包括材料成本、设备运行成本、缓存成本以及维护小修成本.

令g为单位零件经两设备加工后产生的收入;c_r 为单位零件的材料成本;c_i 和c'_i' 分别为M1以生产率p和M2以生产率运行时的单位时间运行成本,随i或i'值的增加而递增;c_h 为单位时间单位数量缓存维持成本;c_f和c'_f 分别为上下游设单位时间小修成本,c_p 和c'_p 分别为上下游设备的单位时间维护成本.则R(s,π)为

(8)

R ((i, i', κ), (0,0)) = dg - \min {p, K + d - κ} (c_{r} + c_{i} / p) - c'_{i'} - \frac{c_{h} (κ + \min {κ + p - d, K})}{2}

(9)

R ((i, i', κ), (1,0)) = \min {d, κ} (g - c'_{i'} / d) - c_{p} - \frac{c_{h} (κ + \max {κ - d, 0})}{2}

(10)

R ((i, n + i', κ), (0,2)) = - \min {p, K - κ} (c_{r} + c_{i} / p) - c'_{f} - \frac{c_{h} (κ + \min {κ + p, K})}{2}

(11)

R ((i, i', κ), (1,1)) = - c_{p} - c'_{p} - c_{h} κ

(12)

R ((m + i, n + i', κ), (2,2)) = - c_{f} - c'_{f} - c_{h} κ

(13)

R ((2 m + i, n + i', κ), (1,2)) = - c_{p} - c'_{f} - c_{h} κ

上式均满足 $1 \leq i \leq m, 1 \leq i' \leq n, 0 \leq κ \leq K .$ 式(8)表示两设备均运行时,该周期内的系统利润;式(9)表示当M1维护,M2运行时,周期内的系统利润;式(10)表示当M1运行,M2小修时,周期内的系统利润;式(11)~(13)表示上下游设备同时停机,进行维护或小修时,周期内的利润.其他状态下的系统利润与上述利润结构相似.

2.4 长期期望利润模型

考虑无限阶段的马尔科夫决策过程,对生产系统的长期期望利润进行建模.为保证长期期望利润收敛,取折扣因子0<α<1.则经过τ个周期的期望利润V_τ (s)满足

(14)

\begin{array}{l} V_{τ} (s) = \max_{π \in Π} V_{τ}^{π} (s) = \\ \max_{π \in Π} (R (s, π) + α \sum_{u \in S} P_{su} (π) V_{τ - 1} (u)) \\ \begin{matrix} s \in S, τ > 0 \end{matrix} \end{array}

式中: $V_{τ}^{π} (s)$ 为从状态s出发,且采取的策略为π时,经过τ个周期的期望利润.

分情况对 $V_{τ}^{π} (s)$ 的计算进行讨论.当两设备均处于运行状态,采取不同维护策略时的期望利润为

(15)

V_{τ}^{(0,0)} (i, i', κ) = R ((i, i', κ), (0,0)) + α \overset{m + i}{\sum_{j = i}} \overset{n + i'}{\sum_{j' = i'}} p_{ij} p'_{i'j'} V_{τ - 1} (j, j', \min {κ + p - d, K})

$\begin{array}{l} V_{τ}^{(0,1)} (i, i', κ) = R ((i, i', κ), (0,1)) + \\ α [\overset{m + i}{\sum_{j = i}} \overset{i'}{\sum_{j' = 1}} p_{ij} p'_{(2 n + i') j'} V_{τ - 1} (j, j', \min {κ + p, K}) + \\ (1 - ν'_{i'}) \overset{m + i}{\sum_{j = i}} p_{ij} V_{τ - 1} (j, 2 n + i', \min {κ + p, K})] \\ V_{τ}^{(1,0)} (i, i', κ) = R ((i, i', κ), (1,0)) + \\ α [\overset{i}{\sum_{j = 1}} \overset{n + i'}{\sum_{j' = i'}} p_{(2 m + i) j} p'_{i' j'} V_{τ - 1} (j, j', \max {κ - d, 0}) + \\ (1 - ν_{i}) \overset{n + i'}{\sum_{j' = i'}} p'_{i' j'} V_{τ - 1} (2 m + i, j', \max {κ - d, 0})] \\ V_{τ}^{(1,1)} (i, i', κ) = R ((i, i', κ), (1,1)) + \\ α {\overset{i}{\sum_{j = 1}} \overset{i'}{\sum_{j' = 1}} p_{(2 m + i) j} p'_{(2 n + i') j'} V_{τ - 1} (j, j', κ) + \\ (1 - ν'_{i'}) \overset{i}{\sum_{j = 1}} p_{(2 m + i) j} V_{τ - 1} (j, 2 n + i', κ) + \\ (1 - ν_{i}) [\overset{i'}{\sum_{j' = 1}} p'_{(2 n + i') j'} V_{τ - 1} (2 m + i, j', κ) + \\ (1 - ν'_{i'}) V_{τ - 1} (2 m + i, 2 n + i', κ)]} \end{array}$

当一台设备发生故障小修而另一台设备正常运行时,以M1故障为例,采取不同维护策略时的期望利润为

$\begin{array}{l} V_{τ}^{(2,0)} (m + i, i', κ) = R ((m + i, i', κ), (2,0)) + α [μ_{i} \overset{n + i'}{\sum_{j' = i'}} p'_{i' j'} V_{τ - 1} (i, j', \max {κ - d, 0}) + (1 - μ_{i}) \\ \overset{n + i'}{\sum_{j' = i'}} p'_{i' j'} V_{τ - 1} (m + i, j', \max {κ - d, 0})] \\ V_{τ}^{(2,1)} (m + i, i', κ) = R ((m + i, i', κ), (2,1)) + \\ α [μ_{i} \overset{i'}{\sum_{j' = 1}} p'_{(2 n + i') j'} V_{τ - 1} (i, j', κ) + \\ μ_{i} (1 - ν'_{i'}) V_{τ - 1} (i, 2 n + i', κ) + \\ (1 - μ_{i}) (1 - ν'_{i'}) V_{τ - 1} (m + i, 2 n + i', κ) + \\ (1 - μ_{i}) \overset{i'}{\sum_{j' = 1}} p'_{(2 n + i') j'} V_{τ - 1} (m + i, j', κ)] \end{array}$

当一台设备正在进行预防性维护而另一台设备正常运行时,以M2维护为例,采取不同维护策略时的期望利润为

$\begin{array}{l} V_{τ}^{(0,1)} (i, 2 n + i', κ) = R ((i, 2 n + i', κ), (0,1)) + α [\overset{m + i}{\sum_{j = i}} \overset{i'}{\sum_{j' = 1}} p_{ij} p'_{(2 n + i') j'} V_{τ - 1} (j, j', \min {κ + p, K}) + \\ (1 - ν'_{i'}) \overset{m + i}{\sum_{j = i}} p_{ij} V_{τ - 1} (j, 2 n + i', \min {κ + p, K})] \\ V_{τ}^{(1,1)} (i, 2 n + i', κ) = R ((i, 2 n + i', κ), (1,1)) + α {\overset{i}{\sum_{j = 1}} \overset{i'}{\sum_{j' = 1}} p_{(2 m + i) j} p'_{(2 n + i') j'} V_{τ - 1} (j, j', κ) + \\ (1 - ν'_{i'}) \overset{i}{\sum_{j = 1}} p_{(2 m + i) j} V_{τ - 1} (j, 2 n + i', κ) + \\ (1 - ν_{i}) \times [\overset{i'}{\sum_{j' = 1}} p'_{(2 n + i') j'} V_{τ - 1} (2 m + i, j', κ) + \\ (1 - ν'_{i'}) V_{τ - 1} (2 m + i, 2 n + i', κ)]} \end{array}$

当上下游设备均发生故障小修时,期望利润为

$\begin{array}{l} V_{τ}^{(2,2)} (m + i, n + i', κ) = \\ R ((m + i, n + i', κ), (2,2)) + \\ α {μ_{i} [μ'_{i'} V_{τ - 1} (i, i', κ) + \\ (1 - μ'_{i'}) V_{τ - 1} (i, n + i', κ)] + \\ (1 - μ_{i}) [μ'_{i'} V_{τ - 1} (m + i, i', κ) + \\ (1 - μ'_{i'}) V_{τ - 1} (m + i, n + i', κ)]} \end{array}$

根据假设(1),初始状态为s=(1,1,0),则当τ趋于无限大时,系统长期期望利润V*满足

(16)

\begin{array}{l} V^{*} = V (1,1, 0) = \max_{π \in Π} {R ((1,1, 0), π) + \\ α \sum_{u \in S} P_{(1,1, 0) u} (π) V (u)} \end{array}

式(16)即为维护决策的目标函数,通过最大化长期期望利润,即可得到各个系统状态下两设备的维护决策.

3 数值分析

值迭代方法是应用最为广泛的求解无限阶段折扣马尔科夫决策过程的方法,本文通过值迭代方法求解最优维护策略的步骤如下:

步骤1:初始化,对任意系统状态s=(i,i',κ)∈S,设置V₀ (s)=0,令τ=1,取ε为一个足够小的正数;

步骤2:对于每个状态s∈S,通过计算式(14),求得V_τ (s);

步骤3:若|V_τ (s)-V_(τ-1) (s)|<ε,进入步骤4,否则,令τ=τ+1,返回步骤2;

步骤4:输出各状态下最优的设备维护决策,输出初始状态为(1,1,0)的最优长期期望利润V^*,算法结束.

参考文献[18],设置两设备状态转移相关参数如下:

$P_{ij} = (m + 2 - i) - 1, μ_{i} = 0.7 - 0.05 i, P_{(2 m + i) k} = (0.9 - 0.025 i) / i; P'_{i'j'} = (n + 2 - i') - 1, μ'_{i'} = 0.7 - 0.05 i', P_{(2 n + i') k'} = (0.9 - 0.025 i') / i'; 1 \leq k' \leq i' \leq j' \leq n, 1 \leq k \leq i \leq j \leq m, m = n = 6, K = 5 .$

分别针对以下3个算例进行优化求解.

算例1 $c_{p} = 2, c_{f} = 6, c_{i} = 0.15 + 0.03 i, c'_{p} = 2, c'_{f} = 7, c'_{i'} = 0.2 + 0.02 i', c_{h} = 0.1, c_{r} = 0.1, g = 12 .$

算例2 $c_{p} = 2, c_{f} = 6, c_{i} = 0.15 + 0.03 i, c'_{p} = 0.8, c'_{f} = 8, c'_{i'} = 2 i', c_{h} = 0.1, c_{r} = 0.1, g = 12 .$

算例3 $c_{p} = 3, c_{f} = 8, c_{i} = 0.06 i, c'_{p} = 2, c'_{f} = 7, c'_{i'} = 0.2 + 0.02 i', c_{h} = 0.2, c_{r} = 0.2, g = 10 .$ 算例参数设置满足假设(5),即对于同一台设备,单位时间的小修成本大于预防性维护成本;同时设备的单位时间运行成本与设备状态有关,状态越好则设备运行成本越低.

代入上述参数对模型进行求解,3个算例得到的最大长期期望利润分别为94.83、65.78及62.44,对应各系统状态下M1最优的预防性维护决策如表1所示,括号里的3个数字从左往右依次为3个算例的求解结果,表示在给定的M2状态i'和缓存状态κ下,M1的最优预防性维护起始状态i(i',κ)^*,即M1状态优于该值则正常运行,否则进行维护.

表1 M1最优维护策略

Tab.1 Optimal maintenance policy of M1

M2状态		κ=0	κ=1	κ=2	κ=3	κ=4	κ=5
运行	1	(-,-,-)	(-,-,-)	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)
	2	(-,-,-)	(-,-,-)	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)
	3	(-,-,-)	(-,-,-)	(6,5,4)	(6,5,4)	(3,2,2)	(3,3,3)
	4	(-,-,6)	(-,-,6)	(5,5,4)	(5,4,3)	(3,2,2)	(3,3,3)
	5	(-,5)	(-,5)	(5,3)	(5,3)	(3,4)	(3,4)
故障小修	7	(6,6,6)	(6,5,6)	(4,3,3)	(3,3,3)	(3,4,3)	(3,4,4)
	8	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)	(3,4,3)	(3,4,4)
	9	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)	(3,4,4)	(3,4,4)
	10	(6,5,4)	(6,5,3)	(3,2,2)	(3,3,3)	(3,4,4)	(4,4,4)
	11	(5,3)	(5,2)	(3,2)	(3,3)	(3,3)	(4,4)
预防性维护	13	(6,6,6)	(6,6,6)	(5,3,3)	(3,3,3)	(3,4,3)	(3,4,4)
	14	(6,6,6)	(6,6,6)	(4,3,3)	(3,3,3)	(3,4,3)	(3,4,4)
	15	(6,6,6)	(6,6,6)	(4,3,3)	(3,3,3)	(3,4,3)	(3,4,4)
	16	(6,6,5)	(6,5,5)	(4,3,3)	(3,3,3)	(3,4,4)	(3,4,4)
	17	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)	(3,4,4)	(3,4,4)
	18	(6,5,5)	(6,5,5)	(4,3,3)	(3,3,3)	(3,4,3)	(3,4,4)

注:-表示各状态均不维护;M2状态6(算例2为5)的决策均为维护(表2),故无相应运行和小修状态.

新窗口打开| 下载CSV

M2的最优预防性维护起始状态i'(i,κ)^*如表2所示.

表2 M2最优维护策略

Tab.2 Optimal maintenance policy of M2

M1状态		κ=0	κ=1	κ=2	κ=3	κ=4	κ=5
运行	1	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	2	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	3	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	4	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	5	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	6	(6,4,6)	(6,4,6)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
故障小修	7	(1,1,1)	(5,2,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	8	(1,1,1)	(5,3,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	9	(1,1,1)	(5,3,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	10	(1,1,1)	(5,3,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	11	(1,1,1)	(5,3,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	12	(1,1,1)	(5,3,5)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
预防性维护	13	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	14	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	15	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	16	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	17	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)
	18	(1,1,1)	(4,2,4)	(6,5,6)	(6,5,6)	(6,5,6)	(6,5,6)

新窗口打开| 下载CSV

从上述3个算例的求解结果都可以看出,对于一台设备而言,当缓存量和系统内其他设备处于不同状态时,其执行预防性维护的起始状态是不同的,即缓存量和其他设备所处的状态都会对其维护决策造成影响.接下来针对算例1进行更为详细的数据分析.

分别取上下游设备处于状态1及其对应的小修状态7和维护状态13,绘制另一台设备的维护起始状态与缓存状态的关系图,如图4、5所示.图中3条不重合的曲线体现了系统内其他设备状态对维护决策的影响,曲线的变化趋势体现了缓存对维护决策的影响.可以看出,两设备都倾向于在另一台设备停机时提前进行维护.M1受缓存状态的影响更大,更倾向于在缓存量能够满足M2需求时提前维护.M2则为保证产出,在M1运行或缓存充足时都不会提前维护,只有M1停机且缓存量不足时,才会进行提前维护.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 不同系统状态下的M1维护起始状态

Fig.4 Initial maintenance states of M1 in different system states

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 不同系统状态下的M2维护起始状态

Fig.5 Initial maintenance state of M2 in different system state

对缓存和预防性维护相关参数进行敏感性分析, 图6中两条曲线分别表示最大长期期望利润随c_p和c'_p变化的波动情况.可以看出,利润随单位时间维护成本上升而降低,M1单位时间维护成本的变化对利润的影响更为显著.因此在设计生产系统时,更应设法降低上游设备的单位时间维护成本.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 不同c_p和c'_p下的系统利润

Fig.6 System profit at different c_p and c'_p values

图7、8分别为上下游设备在不同的 $ν_{i} 和 ν'_{i'}$ 下,最大长期期望利润随c_h变化的波动情况.可以看出,在不同的维护成功率下,c_h上升都会增加总的缓存成本而降低系统利润.而在相同c_h下,利润随维护成功率上升而增加,成功率上升导致平均维护时间缩短,降低维护总成本进而提高系统利润.M2的 $ν'_{i'}$ 提高对利润的影响更显著,因此在设计生产系统时,更应设法提高下游设备的维护成功率.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 不同c_h和ν_i下的系统利润

Fig.7 System profit at different c_h and ν_i values

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 不同c_h和ν'_i'下的系统利润

Fig.8 System profit at different c_h and ν'_i' values

4 结语

本文建立了两设备一缓存的生产系统模型,上下游设备均有可能故障停机,故障后立即小修,正常运行时可以选择是否进行预防性维护,小修和维护都是不完美的.通过建立马尔科夫决策模型,考虑材料成本、设备运行成本、缓存成本以及维护小修成本,建立了系统的长期期望利润模型作为优化目标,在不同系统状态下进行设备的维护决策.算例求解结果表明,系统状态会影响设备的维护决策,根据系统状态采取更灵活的维护策略是有必要的.

本文结果对包含两台以上设备生产系统的设备维护问题具有一定的参考作用,未来可对更为复杂的生产系统进行进一步研究.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

DING S

, KAMARUDDIN

Maintenance policy optimization: Literature review and directions

[J]. The International Journal of Advanced Manufacturing Technology, 2015, 76(5/6/7/8):1263-1283.

DOI:10.1007/s00170-014-6341-2 URL [本文引用: 1]

[2]

BASRI E

, ABDUL RAZAK I

, AB-SAMAT

, et al.

Preventive maintenance (PM) planning: A review

[J]. Journal of Quality in Maintenance Engineering, 2017, 23(2):114-143.

DOI:10.1108/JQME-04-2016-0014 URL [本文引用: 1]

[3]

张博文, 陆志强, 张岳君.

并行机系统生产计划与预防性维护联合建模

[J]. 上海交通大学学报, 2015, 49(4):564-571.

[本文引用: 1]

ZHANG

Bowen

, LU

Zhiqiang

, ZHANG

Yuejun

An integrated model of production planning and preventive maintenance for parallel systems

[J]. Journal of Shanghai Jiao Tong University, 2015, 49(4):564-571.

[本文引用: 1]

[4]

张晓文, 孙小明, 蒋祖华, 等.

考虑生产线平衡的串-并联生产系统机会维护策略

[J]. 上海交通大学学报, 2015, 49(5):702-707.

[本文引用: 1]

ZHANG

Xiaowen

, SUN

Xiaoming

, JIANG

Zuhua

, et al.

Opportunistic preventive maintenance strategy for series-parallel system considering line balancing

[J]. Journal of Shanghai Jiao Tong University, 2015, 49(5):702-707.

[本文引用: 1]

[5]

郝虹斐, 郭伟, 桂林, 等.

非完美维修情境下的预防性维修多目标决策模型

[J]. 上海交通大学学报, 2018, 52(5):518-524.

[本文引用: 1]

HAO

Hongfei

, GUO

Wei

, GUI

Lin

, et al.

A multi-objective preventive maintenance decision-making model for imperfect repair process

[J]. Journal of Shanghai Jiao Tong University, 2018, 52(5):518-524.

[本文引用: 1]

[6]

REZG

, XIE

, MATI

Joint optimization of preventive maintenance and inventory control in a production line using simulation

[J]. International Journal of Production Research, 2004, 42(10):2029-2046.

DOI:10.1080/00207540310001638235 URL [本文引用: 1]

[7]

CHENG G

, ZHOU B

, LI

Joint optimisation of buffer size and preventive maintenance for a deteriorating upstream machine

[J]. International Journal of Systems Science: Operations & Logistics, 2015, 2(4):199-210.

[本文引用: 1]

[8]

成国庆, 周炳海, 李玲, 等.

考虑缓冲区库存的退化系统最优维修更换策略

[J]. 计算机集成制造系统, 2015, 21(6):1593-1600.

[本文引用: 1]

CHENG

Guoqing

, ZHOU

Binghai

, LI

Ling

, et al.

Optimal maintenance strategy for deteriorating systems with intermediate buffers

[J]. Computer Integrated Manufacturing Systems, 2015, 21(6):1593-1600.

[本文引用: 1]

[9]

GAN S

, ZHANG Z

, ZHOU Y

, et al.

Joint optimization of maintenance, buffer, and spare parts for a production system

[J]. Applied Mathematical Modelling, 2015, 39(19):6032-6042.

DOI:10.1016/j.apm.2015.01.035 URL [本文引用: 1]

[10]

NIYAMOSOTH

, PATHUMNAKUL

Joint determination of preventive maintenance and buffer stock for a production unit under lease

[J]. Journal of Industrial Engineering and Management, 2018, 11(3):497.

DOI:10.3926/jiem.2578 URL [本文引用: 1]

[11]

NAHAS

, NOURELFATH

Buffer allocation, machine selection and preventive maintenance optimization in unreliable production lines

[C]//2015 International Conference on Industrial Engineering and Systems Management (IESM). Seville: IEEE, 2015: 1028-1033.

[本文引用: 1]

[12]

NAHAS

Buffer allocation and preventive maintenance optimization in unreliable production lines

[J]. Journal of Intelligent Manufacturing, 2017, 28(1):85-93.

DOI:10.1007/s10845-014-0963-y URL [本文引用: 1]

[13]

NAHAS

, NOURELFATH

Joint optimization of maintenance, buffers and machines in manufacturing lines

[J]. Engineering Optimization, 2018, 50(1):37-54.

DOI:10.1080/0305215X.2017.1299716 URL [本文引用: 1]

[14]

RENNA

Adaptive policy of buffer allocation and preventive maintenance actions in unreliable production lines

[J]. Journal of Industrial Engineering International, 2019, 15(3):411-421.

DOI:10.1007/s40092-018-0301-7 URL [本文引用: 1]

[15]

ZANDIEH

, JOREIR-AHMADI M

, FADAEI-RAFSANJANI

Buffer allocation problem and preventive maintenance planning in non-homogenous unreliable production lines

[J]. The International Journal of Advanced Manufacturing Technology, 2017, 91(5/6/7/8):2581-2593.

DOI:10.1007/s00170-016-9744-4 URL [本文引用: 1]

[16]

VAN DER DUYN SCHOUTEN F

, VANNESTE S

Maintenance optimization of a production system with buffer capacity

[J]. European Journal of Operational Research, 1995, 82(2):323-338.

DOI:10.1016/0377-2217(94)00267-G URL [本文引用: 2]

[17]

DIMITRAKOS T

, KYRIAKIDIS E

A semi-Markov decision algorithm for the maintenance of a production system with buffer capacity and continuous repair times

[J]. International Journal of Production Economics, 2008, 111(2):752-762.

DOI:10.1016/j.ijpe.2007.03.010 URL [本文引用: 1]

[18]

KARAMATSOUKIS C

, KYRIAKIDIS E

Optimal maintenance of two stochastically deteriorating machines with an intermediate buffer

[J]. European Journal of Operational Research, 2010, 207(1):297-308.

DOI:10.1016/j.ejor.2010.04.022 URL [本文引用: 2]

[19]

FITOUHI M

, NOURELFATH

, GERSHWIN S

Performance evaluation of a two-machine line with a finite buffer and condition-based maintenance

[J]. Reliability Engineering & System Safety, 2017, 166:61-72.

DOI:10.1016/j.ress.2017.03.034 URL [本文引用: 1]

[20]

ZHOU Y

, ZHANG Z

Optimal maintenance of a series production system with two multi-component subsystems and an intermediate buffer

[J]. Eksploatacja i Niezawodnosc-Maintenance and Reliability, 2015, 17(2):314-325.

DOI:10.17531/ein.2015.2.20 URL [本文引用: 1]

[21]

GAN S

, SHI J

Maintenance optimization for a production system with intermediate buffer and replacement part order considered

[J]. Eksploatacja i Niezawodnosc-Maintenance and Reliability, 2014, 16(1):140-149.

[本文引用: 1]

[22]

夏唐斌

面向制造系统健康管理的动态预测与预知维护决策研究

[D]. 上海: 上海交通大学, 2014.

[本文引用: 1]

XIA

Tangbin

Research on dynamic prognosis and predictive maintenance scheduling for health management of manufacturing systems

[D]. Shanghai: Shanghai Jiao Tong University, 2014.

[本文引用: 1]

Maintenance policy optimization: Literature review and directions

2015

... 从20世纪60年代起,有学者开始关注设备维护优化问题,取得了较好的研究成果^[1,2,3,4,5].但针对带缓存生产系统维护策略的研究相对较少.Rezg等^[6]研究了生产线的预防性维护和缓存控制,设备到达维护年龄或出现故障立即维护,通过联合优化维护年龄和缓存容量,最小化平均成本.Cheng等^[7,8]针对两设备一缓存系统,研究了当上游设备退化服从几何过程、非静态伽马过程时的固定周期维护策略.Gan等^[9]考虑了维护、缓存和备件的相互影响.Niyamosoth等^[10]研究了包含一台租赁设备和缓存区的系统,优化出租人的维护周期和承租人的缓存容量以最小化总成本.Nahas等^[11,12,13]研究了维护频率与平均故障间隔时间的关系,通过遗传算法求解缓存和维护联合优化问题.Renna^[14]对串行多设备生产线进行了类似的研究.Zandieh等^[15]建立了包含生产率最大化、缓存区最小化及不合格品数最小化的多目标联合优化模型. ...

Preventive maintenance (PM) planning: A review

2017

并行机系统生产计划与预防性维护联合建模

2015

并行机系统生产计划与预防性维护联合建模

2015

考虑生产线平衡的串-并联生产系统机会维护策略

2015

考虑生产线平衡的串-并联生产系统机会维护策略

2015

非完美维修情境下的预防性维修多目标决策模型

2018

非完美维修情境下的预防性维修多目标决策模型

2018

Joint optimization of preventive maintenance and inventory control in a production line using simulation

2004

Joint optimisation of buffer size and preventive maintenance for a deteriorating upstream machine

2015

考虑缓冲区库存的退化系统最优维修更换策略

2015

考虑缓冲区库存的退化系统最优维修更换策略

2015

Joint optimization of maintenance, buffer, and spare parts for a production system

2015

Joint determination of preventive maintenance and buffer stock for a production unit under lease

2018

Buffer allocation, machine selection and preventive maintenance optimization in unreliable production lines

2015

Buffer allocation and preventive maintenance optimization in unreliable production lines

2017

Joint optimization of maintenance, buffers and machines in manufacturing lines

2018

Adaptive policy of buffer allocation and preventive maintenance actions in unreliable production lines

2019

Buffer allocation problem and preventive maintenance planning in non-homogenous unreliable production lines

2017

Maintenance optimization of a production system with buffer capacity

1995

... 上述研究的优化目标多为固定的维护周期,虽然建模过程中考虑了缓存,但没有考虑特定缓存状态对维护决策的影响.因此部分学者通过建立马尔科夫模型优化设备维护策略,维护决策同时取决于设备退化状态和缓存状态.文献[16]只考虑上游设备的退化和维护,运用马尔科夫决策理论计算并证明了控制限策略是使得平均成本最优的策略.Dimitrakos等^[17]扩展了文献[16]中的模型,考虑上游设备的非平稳退化和更完善的成本结构,将维护持续时间从几何分布拓展到连续分布.Karamatsoukis等^[18]在上述研究的基础上考虑了上下游两设备的退化和维护决策.Fitouhi等^[19]则考虑在生产率水平约束下最小化总成本.Zhou等^[20]针对具有两个多组件系统和一个中间缓存区的串并联系统的预防性维护问题,开发了马尔科夫决策方法.Gan等^[21]关注了缓存、预防性维护及部件更换之间的相互作用,除维护策略外优化备件一般订单的下达时间. ...

... 扩展了文献[16]中的模型,考虑上游设备的非平稳退化和更完善的成本结构,将维护持续时间从几何分布拓展到连续分布.Karamatsoukis等^[18]在上述研究的基础上考虑了上下游两设备的退化和维护决策.Fitouhi等^[19]则考虑在生产率水平约束下最小化总成本.Zhou等^[20]针对具有两个多组件系统和一个中间缓存区的串并联系统的预防性维护问题,开发了马尔科夫决策方法.Gan等^[21]关注了缓存、预防性维护及部件更换之间的相互作用,除维护策略外优化备件一般订单的下达时间. ...

A semi-Markov decision algorithm for the maintenance of a production system with buffer capacity and continuous repair times

2008

Optimal maintenance of two stochastically deteriorating machines with an intermediate buffer

2010

... 参考文献[18],设置两设备状态转移相关参数如下: ...

Performance evaluation of a two-machine line with a finite buffer and condition-based maintenance

2017

Optimal maintenance of a series production system with two multi-component subsystems and an intermediate buffer

2015

Maintenance optimization for a production system with intermediate buffer and replacement part order considered

2014

面向制造系统健康管理的动态预测与预知维护决策研究

2014

... (5) 由于设备故障是非计划性的突发情况,因此小修过程相比于预知的维护更为复杂,故小修的期望完成时间和成本均大于预防性维护^[22]. ...

面向制造系统健康管理的动态预测与预知维护决策研究

2014

... (5) 由于设备故障是非计划性的突发情况,因此小修过程相比于预知的维护更为复杂,故小修的期望完成时间和成本均大于预防性维护^[22]. ...

〈

〉