虚拟装配手势库设计及人机工效评估优化
上海交通大学 机械与动力工程学院, 上海 200240
Design of a Virtual Assembly Gesture Library and Optimization of Ergonomics Evaluation
School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China
通讯作者: 何其昌,男,副教授,博士生导师,电话(Tel.)021-34206770;E-mail:heqc@sjtu.edu.cn.
责任编辑: 石易文
收稿日期: 2021-03-31
基金资助: |
|
Received: 2021-03-31
作者简介 About authors
郭加伟(1998-),男,山东省德州市人,硕士生,主要从事人因工程学研究.
针对虚拟装配环境下,虚拟人上肢仿真设置效率低、人机工效评估不精确的问题,对手部装配动作进行分析,定义手部关节结构、手臂及手部尺寸,建立参数化的装配手势模型并形成手势库.采用模糊算法改进快速上肢评估(RULA)方法,利用梯形函数对关节角度处于临界值时的评估分值进行优化,通过规则库得出最终评估结果.采用劳损指数(SI)评估手部、手腕等肌肉骨骼作业风险,并与模糊RULA评估加权计算综合得分,对虚拟手装配过程进行连续的人机工效评估,捕捉装配作业期间的风险姿势.最后,基于3D Experience平台对上述方法进行集成,并通过手机通讯元件的装配作业进行应用验证.
关键词:
In view of the low efficient of virtual human upper limb simulation in the virtual assembly environment and the inaccurate evaluation of ergonomics, this paper analyzes hand assembly action, defines hand joint structure, arm and hand size, establishes a parametric assembly gesture model, and forms a gesture library. The fuzzy algorithm is used to improve the rapid upper limb assessment (RULA) method. The trapezoidal function is used to optimize the evaluation score when the joint angle is at the critical value. The final evaluation result is obtained through the rule base. Strain index(SI) is used to evaluate the risk of musculoskeletal operations such as hands and wrists, and the comprehensive score is weighted with fuzzy RULA evaluation. The ergonomics of the virtual hand assembly process is continuously evaluated to capture the risk posture in the assembly operation. Finally, the above methods are integrated based on the 3D Experience platform and verified by the assembly of mobile communication components.
Keywords:
本文引用格式
郭加伟, 许志杰, 何其昌.
GUO Jiawei, XU Zhijie, HE Qichang.
国内外学者对虚拟装配仿真做了大量的研究,法国Dassault公司[4]推出了数字化装配仿真平台DELMIA,可以将产品模型与工艺模型进行协同设计,在虚拟环境中完成仿真分析.文献[5]建立了虚拟装配系统VDVAS,操作者可以在系统内选择零部件并进行拆卸规划,静、动态干涉分析.文献[6]研究了基于约束的虚拟装配,实现了虚拟环境下使用拧紧工具的交互式装配操作.文献[7]虚拟现实设备的出现,改变了需要穿戴外设的限制,其通过图像处理技术,自动捕捉人体及手部的运动轨迹,提高虚拟装配人机交互的友好性.文献[8]利用基于Leap Motion的虚拟手交互方法,根据任务训练需求设计虚拟手抓取方式等,构建了航天员虚拟装配训练系统.
装配作业舒适度与装配件重量、工作姿势及时长等因素相关,如上述条件不当,不仅会降低装配效率,还会造成操作者肌肉骨骼损伤,影响生理健康,进一步对装配质量产生影响,存在极大安全隐患[9].快速上肢评估(RULA)[10,11]作为一种有效的人机工效评估方法被广泛使用,而RULA方法对手部,尤其手指关节工作时长、操作速度等因素没有考虑,并且当人体关节角度处于评价标准的临界值时,RULA评估分值会发生突变、跳跃现象[12],影响评估的准确性.劳损指数(SI)[13]是一种用来评估工作中手部、手腕、前臂和肘部伤害风险水平的评估方法,其将工作速度、手/手腕姿势、每天工作时间等任务变量作为评价标准,能够充分对手工作业人机工效进行评估.目前,在采用RULA和SI进行人机工效评估时,现有软件工具只能对装配姿势逐个进行评估,操作繁琐、手势姿势精确设置时间较长,造成虚拟装配仿真效率低下,影响虚拟装配技术的推广使用.
针对以上问题,通过定义手部关节结构、手臂及手部尺寸,建立参数化装配手势库;使用模糊算法优化RULA评估方法,避免因关节角度处于临界值时RULA分值的跳跃现象;考虑工作速度、手/手腕姿势、每天工作时间等评价因素,综合模糊RULA与SI方法进行人机工效评估;集成开发基于Dassault公司的3D Experience平台的人机工效评估工具,实现装配仿真过程的连续人机工效评估,避免遗漏装配作业期间的风险姿势,提高仿真效率与精度.最后,采用手机通讯元件的装配作业评估进行应用验证.
1 虚拟手关节模型及手势定义
图1
手工装配作业手势种类较多,在装配作业中需要不断切换手势,传统虚拟装配仿真过程中需要在虚拟装配软件中手动调整手臂、手部的27个关节自由度参数,设置操作较为繁琐.通过外置传感器设置、保存特定装配动作的手势关节角度、构建参数化装配手势库,可提高虚拟装配仿真设置效率.Ultraleap公司的Leap Motion传感器能够实时获取手部关节的坐标、方向矢量等信息,且具有良好的精度[14].Leap Motion采用红外成像技术来捕捉手势数据,将手部放置在Leap Motion上方,获取手部方向矢量,如图2(a)所示.通过计算空间矢量夹角公式将手部方向矢量转换为关节角度值,从而获得当前手势的27个关节自由度参数值,如图2(b)所示.获取手操作工具的手势信息时,操作工具会遮挡手指,影响关节角度识别精度,需对部分手指关节角度进行调整,形成装配手势库的手势,如图2(c)所示.
图2
2 模糊RULA与SI人机工效综合评估
2.1 模糊RULA评估方法
当人体关节角度处于评价标准的临界值时,RULA评估分值会发生突变、跳跃现象,影响人机工效评估的准确性.采用模糊逻辑对RULA评估方法进行改进,实现评估分值的连续化.模糊逻辑是建立在多值逻辑的基础上,运用模糊集合的方法来研究模糊性思维、语言形式及其规律的科学,借助于隶属函数的概念,区分模糊集合,处理模糊关系[15,16].RULA方法将身体分为A部分:上臂、前臂、手腕以及B部分:颈部、躯干、腿部.对装配作业进行RULA评价时,首先根据作业姿势获取关节角度值,由关节角度评价标准得出关节角度得分;其次, 根据关节角度得分在RULA得分规则表A和B[17]中获取A部分以及B部分得分,考虑上肢、颈部等部位的肌肉使用、负荷情况并由评价标准获取相应得分,将其得分与A部分、B部分得分汇总;最后由汇总后的得分在规则表C[17]中获取RULA评估分数[11, 17].建立的模糊RULA评估方法包括27个关节角度输入(X1~X27)、2个中间变量(模糊RULA的A、B部分得分SA, SB)、1个输出(模糊RULA得分S)、40个隶属函数(f1~f40)以及281个if-then规则[12,15],其模型结构如图3所示.
图3
算法1 模糊RULA
(1) 获得影响RULA得分的各关节自由度DOF的角度值θ.
(2) 设置梯形函数为隶属函数对关节角度进行模糊化.
(3) 根据角度值θ与隶属函数,计算各关节角度得分的隶属度.
(4) 由计算得出的上臂、前臂、手腕、手腕扭转得分及对应隶属度,在表A中求出A部分得分隶属度的最大分值.
(5) 由计算得出的颈部、躯干、腿部得分及对应隶属度,在表B中求出B部分得分隶属度的最大分值.
(6) 由A部分、B部分得分在表C中求出最终模糊RULA得分.
梯形函数能够有效地对关节角度进行模糊化并且简化计算过程,故选取梯形函数作为隶属函数,对关节角度进行模糊化,相邻隶属函数交点的隶属度为0.5,梯形隶属函数表达式如下式所示:
图4
图5
图6
基于模糊逻辑的RULA评估方法针对得分发生跳跃的问题,引入了隶属函数,关节角度分值的变化呈稳定变化趋势,避免最终得分因关节角度处于临界值时而发生突变的现象.
2.2 人机工效综合评估
针对RULA方法对手部,尤其是手指关节工作时长、操作速度等因素考虑不全的问题,采用模糊RULA与SI方法综合进行人机功效评估.SI将工作强度、工作持续时间、每分钟工作次数、手/手腕姿势、工作速度、每天工作时间作为评价因素,对每个因素的风险进行评估并各划分为5个等级,为各等级分配乘数,乘数越大代表风险系数越高,乘数的乘积为SI的最终得分[13].SI对连续手工作业进行评估,能够弥补RULA方法缺乏对手指动作进行评估的缺陷.RULA与SI的评分标准都将7分评定为高风险工作,故设定权重因子为0.5,并将模糊RULA与SI得分加权求出最终评估结果,如下式所示:
式中: SF为人机功效评估得分;n为仿真动作时长;Si为第i帧时的RULA评估得分;I为工作强度乘数;D为工作持续时间乘数;M为每分钟工作次数乘数;P为手/手腕姿势乘数;v为工作速度乘数;t为每天工作时间乘数;w1与w2为权重因子,设为0.5.
该评估方法能够对连续的装配动作进行人机工效评估,且最终评估结果用分数表示,分数越高则代表着肌肉骨骼损伤风险的等级越高.
3 3D Experience集成开发
通过对操作人员的手部长度信息、手工装配姿势进行采集,拟在3D Experience平台中建立装配手势库.3D Experience是法国Dassault公司推出的一套面向产品全生命周期的协同管理、分析、设计和仿真平台.基于3D Experience提供的开发接口,利用组件应用架构(CAA)二次开发技术,开发装配手势库及人机工效评估工具,包括4个模块:手部标定、手势管理、手势应用、人机工效评估,并集成到3D Experience软件的工具条中.
(1) 手部标定模块:设置人体模型的国家、比例、性别等信息,获取标准虚拟人模型;采集、管理员工个性化手部长度信息,赋值到虚拟人体模型以姓名或序号命名保存.手部标定模块窗口如图7所示.
图7
(2) 手势管理模块:定义个性化手势,集成Leap Motion传感器采集手部关节角度,对27个手部关节自由度赋值,提供三维人机界面手工对关节角度进行调整,形成精确手势,按照不同装配工作定义手势分区,在不同分区下保存对应手势.
(3) 手势应用模块:虚拟装配仿真过程中,将手势库中的手势参数自动赋予虚拟环境中的虚拟手模型.
(4) 人机工效评估工具:针对3D Experience平台中的装配运动仿真,设置进行人机工效评估的帧数范围,以分值图的形式展示评估结果,并通过颜色显示评估预警.
4 案例分析
为验证该人机工效评估工具的可行性,选取手机通讯线装配案例进行应用验证.在通讯线装配作业中,操作人员先将线缆放置在线槽上,两端扣紧卡扣固定,然后用理线笔将线缆压紧到线槽里.装配操作动作由上肢完成,负载小于20 N.安装一根手机通讯线平均耗时73 s,每天工作8 h,属于长时间劳作,容易造成操作人员肌肉骨骼损伤.在3D Experience平台中进行手机通讯线装配作业仿真,采用传统制作仿真方式进行操作,对上肢动作,尤其是手部精细动作调整时花费时间较多,仿真效率低下.通过制作5组手机通讯线装配仿真并计时,计算得出该案例平均耗时63 min.
利用构建的装配手势库,读取装配过程中的操作理线笔姿势、拿线姿势、按压姿势等,建立参数化装配手势库,如图8所示.
图8
结合装配手势库制作虚拟装配仿真,从手势库中调用手势设置仿真的关键姿势,减少手势姿态调整时间,制作与相同的5组手机通讯线装配仿真,在相同的手势精度下,平均仿真时间为17 min,仿真效率提高370%.图9为线缆装配作业仿真.
根据上述手机通讯线装配工作情况,设定RULA肌肉使用、负荷分数以及SI各评估因素的风险等级.其中,A部分肌肉使用分值加1;工作强度评级为1级,乘数为1.0;工作持续时间评级为5级,乘数为3.0;每分钟工作次数评级为5级,乘数为3.0;手/手腕姿势评级为3级,乘数为1.5;工作速度评级为3级,乘数为1.0;每天工作时间评级为4,乘数为1.0.对装配作业仿真进行人机工效评估,在3D Experience中使用人机工效评估工具读取该仿真,设定进行人因评估的帧数区间,生成逐帧的综合人机工效评估分值图,如图10所示.其中:分值线框图中红线为原始RULA分值;蓝线为模糊RULA分值;横轴为装配仿真的帧数.
图9
根据分值线以及装配仿真运动可以观察到,第2、3帧装配作业姿势关节角度差距较小并且处于RULA关节角度评分标准的边界范围,原始RULA分值发生了跳跃,而模糊RULA由于对关节角度进行了模糊化处理修正了这一突变现象.图11为原始
图10
RULA分值发生跳跃的两个临界姿势.由图11可知,仅手臂、手腕、脖颈关节角度有微小差别,最终分值却相差2分.根据式(2)计算出该装配仿真的模糊RULA评估得分的平均值,与SI进行加权计算得到最终人机工效综合评估为9.1分.因此,从安全隐患以及员工健康角度考虑,长时间的流水线作业会提高肌肉骨骼损伤风险,减少员工的工作时间以及工作频率是有必要的.
图11
传统的人因评估方法只针对预测有风险的单个姿势进行评估,从上述手机通讯线装配案例可发现该人机工效评估工具能够大大提高装配仿真制作的效率;并且实现了对装配仿真进行连续的评估,能够及时捕捉到装配作业中的风险姿势,提高了评估精度.
5 结语
通过定义手部关节结构、手臂及手部尺寸,建立了参数化的手势装配库,改善了传统虚拟装配手势仿真设置效率低下的问题.针对RULA在关节角度处于评价标准临界范围时得分发生跳跃的现象,使用模糊算法进行了优化.综合模糊RULA与SI方法,考虑了工作速度、手/手腕姿势、每天工作时间等评价因素.开发基于3D Experience平台的人机工效评估工具,实现了装配仿真过程的连续人机工效评估,对装配作业姿势进行风险监控,极大地提高了评估的效率与精度.最后,通过对装配手机通讯线案例的分析,进一步验证了该方法的可行性.
(本文编辑:石易文)
参考文献
Virtual assembly using virtual reality techniques
[J]. ,DOI:10.1016/S0010-4485(96)00094-2 URL [本文引用: 1]
基于SPEA2的复杂机械产品选择装配方法
[J]. ,
Selective assembly of complicated mechanical product based on SPEA2
[J].
On the development of a surrogate modelling toolbox for virtual assembly
[J]. ,DOI:10.3390/app11031181 URL [本文引用: 1]
基于DELMIA的机器人制孔离线编程系统开发
[J]. ,
Development of off-line programming system for robot drilling based on DELMIA
[J].
VDVAS: 一个集成的虚拟设计与虚拟装配系统
[J]. ,
VDVAS: An integrated virtual design and virtual assembly environment
[J].
装配工位仿真中虚拟工具的研究与应用
[J]. ,
Research and application of virtual tool in assembly workplace simulation
[J].
Gesture recognition based on kinect v2 and leap motion data fusion
[J]. ,DOI:10.1142/S021800141955005X URL [本文引用: 1]
基于虚拟手交互的航天员虚拟装配训练仿真方法
[J]. ,
Astronaut virtual assembly training simulation based on virtual hand interaction
[J].
Comparison of the ovako working posture analysis system, rapid upper limb assessment, and rapid entire body assessment based on the maximum holding times
[J]. ,DOI:10.1016/j.ergon.2020.102943 URL [本文引用: 1]
Current techniques for assessing physical exposure to work-related musculoskeletal risks, with emphasis on posture-based methods
[J]. ,DOI:10.1080/001401399185388 URL [本文引用: 1]
RULA: A survey method for the investigation of work-related upper limb disorders
[J]. ,DOI:10.1016/0003-6870(93)90080-S URL [本文引用: 2]
A fuzzy logic approach to posture-based ergonomic analysis for field observation and assessment of construction manual operations
[J]. ,DOI:10.1139/cjce-2015-0143 URL [本文引用: 2]
The strain index: A proposed method to analyze jobs for risk of distal upper extremity disorders
[J]. ,DOI:10.1080/15428119591016863 URL [本文引用: 2]
Comparison of the performance of the leap motion ControllerTM with a standard marker-based motion capture system
[J]. ,DOI:10.3390/s21051750 URL [本文引用: 1]
基于混合模糊多属性决策的复杂产品模块划分方案评价
[J]. ,
Evaluation approach to rank module partition schemes of complex products based on hybrid fuzzy multi-attribute decision making
[J].
改进模糊层次分析法在AUV总体性能评价中的应用
[J]. ,
Application of improved FAHP in evaluation of AUV overall performance
[J].
Identification of indifferent posture zones in RULA by sensitivity analysis
[J]. ,DOI:10.1016/j.ergon.2021.103123 URL [本文引用: 9]
/
〈 | 〉 |