连续康复训练动作分割与评估
Segmentation and Evaluation of Continuous Rehabilitation Exercises
通讯作者: 张执南,教授,博士生导师;E-mail:zhinanz@sjtu.edu.cn.
责任编辑: 王历历
收稿日期: 2021-11-16 修回日期: 2022-01-23 接受日期: 2022-02-14
基金资助: |
|
Received: 2021-11-16 Revised: 2022-01-23 Accepted: 2022-02-14
作者简介 About authors
胡铭轩(1997-),硕士生,从事医工交叉研究.
为提高对康复训练动作反馈的准确性和客观性以及康复患者在康复训练中的积极性和自律性,建立一种能够处理人体连续康复训练动作数据的动作评估方法.首先,提出一种基于高斯混合模型的动作分割方法,从同一动作的连续重复运动序列中提取单次动作数据.其次,根据相关先验知识,提出结合显著运动特征动态时间规整距离评估与高斯混合模型似然评估的多特征融合动作评估方法,从康复训练动作的整体动作与局部关节信息两方面进行动作评估.结果表明:动作分割方法能够很好地分割连续重复动作的运动数据,在数据集上分割动作的正确率达到95%以上;多特征融合动作评估方法有效地提高健康样本与康复患者样本之间动作评估的区分度,使得健康样本动作分数在0~1的评分范围内主要分布在0.93~0.94的得分区间,患者样本则主要分布在0.81~0.89的得分区间.
关键词:
To provide an accurate and objective feedback on rehabilitation training movements and to improve the motivation of rehabilitation patients in rehabilitation training, a motion evaluation method capable of processing continuous human rehabilitation training movement data is proposed. First, a motion segmentation method based on the Gaussian mixture model (GMM) is developed to extract single motion repetition from continuous repetitive motion sequences of the same motion. Then, based on relevant a priori knowledge, a multi-feature fusion motion evaluation method combining significant motion feature dynamic time warping (DTW) distance evluation and Gaussian mixture model likelihood evaluation is proposed to perform motion evaluation in both the overall motion feature and local joint information of rehabilitation exercises. The results show that the motion segmentation method can segment the motion data of continuous repetitive motions well, and the correct rate of segmented motions on the dataset reaches more than 95%. The multi-feature fusion motion evaluation method effectively improves the differentiation of motion evaluation between healthy samples and rehabilitation patient samples, so that the motion scores of healthy samples are mainly distributed in the range of 0.93—0.94 on a scale of 0—1, while the motion scores of patient samples are mainly distributed in the range of 0.81—0.89.
Keywords:
本文引用格式
胡铭轩, 乔钧, 张执南.
HU Mingxuan, QIAO Jun, ZHANG Zhinan.
针对康复训练的动作评估,传统方式多采用康复运动量表,例如运动功能性筛查[6]和Fugl-Meyer评估[7].这类量表将特定的动作幅度划分为多个等级,由临床医师观察病人表现并根据量表打分,最后计算多个动作指标得分,得到康复病人运动能力的评估结果.随着传感器与体感设备投入应用,以距离度量的方式衡量动作表现水平的研究逐渐增加[8].汤翾等[9]利用Kinect相机对人体关键点信息和环境的深度信息进行跟踪分析,依次使用欧氏距离和模板匹配定位方法来判断人体动作是否标准;杨文璐等[10]采用动态时间规整(Dynamic Time Warp~ing, DTW)算法来计算Kinect相机所获得的患者下肢体动作序列信息与动作库中标准动作序列特征之间的相关度,加入时间参量后综合得出患者动作评估结果;吴齐云等[11]在使用Kinect相机的基础上,改进DTW算法,提高运算速率,进行两组动作序列的角度值匹配,再通过K-means聚类方法对距离进行评估并得到结果.
除了使用距离度量方式进行动作评估,使用概率模型进行动作评估也成为研究热点.Houmanfar等[12]利用佩戴在人体上的惯性测量传感器数据,提出基于运动特征和基于隐马尔科夫模型两种动作评估方法,分别实现对单项训练科目的动作评估和多项训练科目的总体动作评估.Su等[13]利用Kinect相机,采用DTW算法和模糊逻辑完成对康复患者居家训练的动作评估.Capecci等[14]则提出用隐半马尔科夫模型对RGBD相机的动作数据进行处理,并通过临床评估和DTW算法来验证方法的可靠性.Liao等[15]首次提出采用深度学习框架来进行动作评估,先采用高斯混合模型(Gaussian Mixture Model, GMM)对动作数据进行降维和建模,根据概率模型的似然数据输出动作的评估分数作为标签,然后训练深度学习网络来评估康复训练动作.
在以上研究中,传统人为动作评估方法具有较强的主观性并且需要大量的康复医师资源,难以满足大量的康复训练需求.利用动作相似性度量方法(如欧氏距离)来进行动作评估的方式采用与传统方式类似的观察视角,度量重要运动关节的运动数据变化,获得区分显著的动作评估结果.但是这种方法往往要求动作序列具有边界固定性[10],即只能评估已分割完成的单个动作序列样本,难以评估连续动作重复样本.有研究[16-17]采用动作识别的方式检测康复训练动作,但通常需要引入深度学习等方式增加运算量,缺乏实用性;基于概率模型的评估方式近年来有较多研究,在对动作的评估中也有研究利用概率模型完成对连续重复动作序列的自动分割.但基于概率模型的动作评估结果对于健康样本和患者样本的区分效果有限,无法显著区分健康人与康复患者的动作评估得分[18].
由此,提出一种对连续康复训练动作分割与评估的方法.首先,对健康人动作进行概率模型建模和标准动作模板制作;然后,对于康复患者的连续重复运动数据样本,使用概率模型进行动作分割,将单个运动分割片段分别进行概率模型评估和距离评估;最后,融合两种方法的评估结果并进行多特征融合动作评估,得到连续康复训练动作样本的评估得分.该方法运用医疗领域的先验知识,利用概率模型对建模后的动作进行分割与评估,结合距离度量手段来提高动作评估模型对正负样本的区分度,具有良好的实际应用价值.
1 动作建模
连续康复训练动作分割与评估框架如图1所示.主要步骤为:先根据健康人运动数据建立动作模型,再根据动作模型对康复患者运动进行分割与评估.
图1
图1
连续康复训练动作分割与评估框架
Fig.1
Framework of continuous rehabilitation exercises segmentation and evaluation
人体运动数据通常是由多个人体关键点坐标组成的高维运动向量,用来表征运动时每个人体关键点的位置信息,进一步计算能够得到运动时每一个关节角度的变化信息.为了使常用于描述低维数据的GMM能够表达人体运动信息,需要对人体运动数据进行特征提取来降低维度.
首先对运动数据进行预处理,利用运动采集仪器得到的动作数据为关节角度值,若以角度为单位,数据区间为[0°, 180°].不同关节角数据变化差异较大,不进行缩放会对后续建模处理带来计算开销过大、特征混杂的问题,影响算法收敛速度.因此,需要对运动数据进行归一化处理.数据预处理具体实施步骤为:先得到整体运动数据的均值、最大值与最小值,将所有数据减去均值使得数据均匀分布在0两侧,以最大值与最小值的差值作为缩放比例,再将所有数据乘以缩放比例即可得到在区间 [-1, 1]的所有数据.
对于预处理后的运动数据,采用主成分分析法对高维人体运动数据进行降维处理,利用正交变换对一系列可能相关的变量观测值进行线性变换,从而投影为一系列线性不相关变量的值,保留数据中对方差贡献最大的特征作为动作分析的主要特征.最后,取用具有最大方差的特征数据作为人体运动特征进行后续分析,其方差大小占所有方差总和的97.8%.
1.1 GMM原理
GMM是一种常用的聚类算法,能够用多个正态分布的概率密度函数的线性组合来描述任意维度变量的分布,因此有研究[15]将该模型用于人体动作建模.
将观测数据表示为x,模型参数表示为θ,则GMM的概率分布模型如下:
式中:K为高斯模型的个数;αk为各高斯模型的系数,αk≥0,
式中:D为数据维数;μk为样本均值,维数为2;Σk为样本的协方差矩阵,维数为2×2.
对于数据样本序列x=(x1, x2, …, xj),j=1, 2, …, N,由GMM计算似然对数概率值的计算方法如下:
基于式(3)计算,可以得到每个运动特征点上在GMM中的对数似然概率值,通过求取均值即可得到单次动作序列的平均似然概率值,基于概率模型的动作评估根据此值来生成相应的动作分数.
对于GMM的参数计算,可以使用期望极大(Expectation Maximization, EM)算法来进行迭代求解[19].EM算法的计算主要为两步,分别为E步与M步.
对于观测变量数据xj,反映其来自第k个分模型的隐变量记为γjk,k=1, 2, …, K.只有当第j个观测来自第k个分模型时,γjk值为1,其他情况下γjk的值为0.完全数据(xj, γj1, γj2, …, γjK|θ)的似然函数如下:
E步构造包含模型参数的Q函数,模型参数为θ=(α, μ, Σ),如下:
式中:E(·)为期望函数;θ(i)为第i次迭代参数θ的估计值;
j=1, 2, …, N; k=1, 2, …, K
M步求使Q(θ, θ(i))极大化的θ,确定第 i+1次迭代的参数的估计值θ(i+1),如下:
初始化θ(0)=(α(0), μ(0), Σ(0)).
为求取对应的模型参数,将式(5)分别对μk、Σk求偏导并令其为0,在
k=1, 2, …, K
重复E步与M步,直到算法收敛,得到GMM的参数.
1.2 连续重复动作序列分割
康复训练中的动作需要康复患者多次重复以达到锻炼相应肢体的目的,在运动数据上表现为一连串连续重复动作序列.如果要评估患者的动作,就需要对连续动作进行分割,得到单次动作的运动数据,再进行动作建模以及后续的动作评估.进行连续重复动作序列的分割时,首先需要在已分割的健康人运动数据样本上基于概率模型进行动作建模,以概率模型的特性建立分割方法,然后应用到健康人与康复患者的运动数据当中.
利用二维GMM对归一化处理、特征提取后的动作数据进行建模,可以获得如图2所示的各高斯模型分布.图中:Tf为时间帧;Wf为角度特征值;椭圆形区域为各高斯模型的主要分布,数字代表各模型编号.由于经过EM算法的迭代,原本有序的编号重新排列.其中高斯模型数量根据各高斯模型能否均匀完整覆盖所有特征数据进行设定,同时也需要根据后续动作分割效果进行调整,在本文中,高斯模型数量设定为5,在该数量下各高斯模型能较好地描述所有特征数据的分布且能获得较好的动作分割效果.
图2
图2
运动特征点在高斯混合模型上的分布
Fig.2
Distribution of motion feature points on a Gaussian mixture model
文献[18]利用自左向右的隐马尔科夫模型完成对连续重复动作的动作分割,其隐马尔科夫模型中由状态序列到观测序列的观测概率矩阵为二维GMM,每一个高斯模型视为隐马尔科夫模型的一个状态.由此,将动作模型划分为多个状态进行动作分割,各状态对应的就是GMM中的各高斯模型.一次完整的动作周期数据是按序遍历各高斯模型后得到的,故可以通过检测运动数据中所遍历的高斯模型顺序来判断当前运动数据的时间切片是否符合概率模型分布,若符合则保留分布相符合的部分作为一次动作的区间,即完成一次动作分割,省去额外的概率计算步骤.
为降低运算量与避免使用滑动窗口,采用基于特征的匹配队列方法[18]进行动作分割.对于连续重复运动,其单次动作周期常出现在导数为0处,表明人体在此刻到达动作的末端,即将开始下一段动作.因此可以选取运动曲线中的极值点作为待分割区域的起点与终点.为避免匹配队列中各匹配点过于集中以及数据噪声的影响,需要优化匹配队列.将幅值较小的极值点进行过滤,同时对两个0交叉点中存在多个极值点的情况进行取均值处理,保证在相邻0交叉点之间只有一个极值点.若直接使用所有的极值点输入特征匹配队列,则会出现错误分割动作区间的情况.如图3所示,左侧曲线上的空心圆代表特征匹配队列中的预备分割点,背景中矩形框代表动作分割的各个区间,矩形框左下角的编号代表重复动作编号,匹配队列中的每一分段都将由GMM计算状态序列.由图3可知,未进行优化的特征匹配队列会产生异常分割点和较近距离内多个分割点.对异常分割点所形成的动作区间进行动作分割判断时,会由于部分数据分布特征相似而产生动作分割错误的情况,同时也会产生单次动作区间截断的问题,而较近距离内的多个分割点则会导致冗余运算与错误分割.因此,优化特征匹配队列能够避免异常分割点和重复分割点的出现,提高动作分割的正确率.对连续重复动作的最终分割结果如图4所示.
图3
图3
特征匹配队列优化对动作分割的影响
Fig.3
Impact of feature matching queue optimization on motion segmentation
图4
图4
连续重复动作序列的动作分割
Fig.4
Motion segmentation for continuous repetitive motion sequences
2 多特征融合动作评估
动作评估的相关算法主要分为距离度量和概率模型评估.距离度量是通过测量并计算特定动作运动指标来评估动作的标准程度,例如深蹲动作中的膝关节角度;概率模型评估则是先提取全身运动特征,对降维后的运动数据用概率模型描述,计算每个运动特征点的概率,以此评判动作的好坏.
以上两种方法对于连续重复动作序列的动作评估均有不足,距离度量需要所对比的动作序列具有相同的起点与终点,概率模型评估则容易得出正负样本评估分数相近的结果.但由于概率模型可以对连续重复动作序列进行动作分割,所以本文在动作分割的基础上融合概率模型动作评估与动作相似性距离度量,建立多特征融合动作评估方法,既弥补概率模型动作评估区分度不高的缺陷,又满足动作相似性度量对单次动作分割的需求.
2.1 显著运动特征的动作相似性距离度量
在所有健康样本中,可以根据医学方面的先验知识手工制作或者挑选显著运动特征.例如,在深蹲动作中,可以直接挑选膝关节与髋关节的角度变化信息作为显著运动特征,因为这两个关节是参与运动的主要关节,直接关系到运动质量与准确度;也可以根据相关医学量表,制作运动特征,例如骨盆前倾、高低肩、脊柱倾斜等.
采用运动关节的角度变化作为显著运动特征时,对所有健康样本中该关节的运动数据求取均值,得到标准运动角度变化曲线;制作多个标准曲线,得到标准动作模板.选取深蹲动作中两个具有显著正负样本区别的角度特征,进行数据缩放后制作标准动作模板,则同一动作下不同样本与标准动作模板的比较如图5所示.
图5
图5
健康样本、患者样本与动作模板的两个显著特征比较
Fig.5
Comparison of two significant features between healthy samples, patient samples and motion templates
DTW算法的核心为动态规划,令动作模板的时间序列数据为
A=(a1, a2, …, ay),y=1, 2, …, U1
测试动作的时间序列数据为
B=(b1, b2, …, bz),z=1, 2, …, U2
U1与U2分别为模板动作和测试动作的时间序列长度.令D(y, z)为点ay与bz之间的DTW距离,DTW算法的状态转移方程如下:
式中:d(ay, bz)为点ay与bz之间的欧氏距离.根据动态规划的思路,从D(1, 1)开始,通过迭代中每一步选择局部最优值,计算到D(U1, U2)时便能得到全局最优解,只要在获得最优解后逆向遍历就能找出其所对应的DTW路径,如图6所示.图中:W为时间序列数据的值.
图6
由于模板是通过健康样本生成的,所以计算健康样本与模板动作的DTW距离时,得到的结果基本都会维持在一个较低且集中的距离范围内;而患者样本在显著运动特征方面数据差异较大,与模板动作相似度低,两者之间的DTW距离较远,且DTW距离分布也较为离散.
2.2 多特征融合动作评估方法
多特征融合动作评估先使用数据降维方法处理运动数据,再利用GMM对降维后的运动数据进行动作建模.由于所建立的概率模型对动作只有整体性描述,缺少类似康复量表等具体运动指标的局部性描述,所以重新从原始运动数据中提取显著运动特征,建立动作模板并进行动作评估,将概率模型与显著运动特征的评估结果融合,给出最终的动作评估分数.多特征融合动作评估的计算方法如下:
式中:Gf、Gg、Gd分别为多特征融合评估、GMM似然评估以及显著运动特征DTW距离评估的分数,且均通过放缩手段统一到相同数据区间;β为评估分数的融合系数,取值为0.5,可根据具体健康人与康复患者动作分数分布特点进行调整.
多特征融合动作评估方法流程图如图7所示.
图7
图7
多特征融合动作评估方法流程图
Fig.7
Flow chart of multi-feature fusion motion evaluation method
3 动作评估实验结果及分析
3.1 实验数据集
为验证多特征融合的康复训练动作评估方法的有效性,采用UI-PRMD数据集[21],该数据集包含来自10个实验对象的人体运动数据,其中有10个动作类别(深蹲、跨栏步、内联弓步等),每个动作类别由实验对象产生正确样本和不正确样本,不正确样本用来模拟康复患者的动作,表现出一些动作的运动障碍.采用Vicon光学追踪系统和Kinect传感器采集数据,其中每种方式采集的数据包含人体关键点的角度数据和位置数据.除以上特点外,数据集预先完成所有动作的时间序列数据分割,每个实验对象的每个动作都有单次重复动作的运动数据,方便研究者进行人体动作研究.
3.2 连续重复动作序列分割
以深蹲动作为研究对象,对健康样本分割数据集进行GMM建模后,对数据集中未进行动作分割的连续重复动作序列进行动作分割,部分健康样本与患者样本的动作分割结果如所图8所示.图中:Wr为实际关节角度值;不同底色的矩形区域为分割得到的单次重复动作区间.
图8
图8
深蹲动作样本进行分割的部分结果
Fig.8
Partial results of segmentation of deep squat movement sample
所有健康样本与患者样本的动作分割结果中正确与错误数量如表1所示.统计结果表明,基于GMM模型的动作分割在数据集上表现出色,对健康样本的识别率达到97%,对患者样本的识别率达到94%.由分析分割结果可以看出,该分割方法对动作序列中连续有规律的动作分割较准确,对首尾两端的动作以及运动间隔时间较长的动作分割存在一定困难.
表1 连续重复动作序列分割结果
Tab.1
样本类型 | 样本总数 | 正确分割数 | 错误分割数 |
---|---|---|---|
健康样本 | 100 | 97 | 3 |
患者样本 | 100 | 94 | 6 |
3.3 多种动作评估方法效果比较
为表征多种评估方法的评估效果,采用文献[15]中的数据缩放方式和分离度(Separation Degree,SD)评价指标,计算健康人群与康复患者之间动作评估结果的区分度.
式中:M=
对于放缩后的样本数据,通过SD指标(SD)计算两个动作评估群体样本之间的区分度,输出-1到1之间的标量,该值越接近0表明两个群体样本之间区分度越低,越靠近-1或者1则表明两个群体之间具有越好的区分度.对于数据放缩后的健康样本h'=(h'1, h'2, …, h'n),n=1, 2, …, N1,与患者样本p'=(p'1, p'2, …, p'q),q=1, 2, …, N2,N1与N2分别是两个样本的数量,计算方法如下:
表2 不同评估方法对于同一动作样本的分离度对比
Tab.2
比较对象 | 欧氏 距离 | 马氏 距离 | DTW 距离 | GMM 似然 | 多特征融合 (本文方法) |
---|---|---|---|---|---|
不同实验对象 | 0.335 | 0.144 | 0.345 | 0.357 | 0.425 |
同一实验对象 | 0.523 | 0.379 | 0.529 | 0.584 | 0.609 |
3.4 多种动作评估方法评分数据分布比较
式中:μ为健康样本均值;δ为健康样本方差;α1与α2为两个经验参数,分别取3.2和10,可根据具体数据特点调整.
根据式(13)计算结果进行运动评估分数绘图,得到如图9所示的数据分布箱图与各评估方法分数图.图中:G为动作评分;R为重复动作编号,表示同一动作的重复执行次数.在各评估方法运动得分的子图中,可以看出在GMM似然评估中,患者样本与健康样本评分分布距离不大,但一些病患样本表现出与健康样本相同的分数;在显著运动特征评估中,患者样本评分主要分布区间与健康样本评分距离较大,但同时也出现患者样本评分数据离散程度过大、部分患者样本评分结果高于健康样本的异常数据结果;在多特征融合评估中,健康样本评分基本保持较为集中且得分较高的分布,病患样本评分离散分布,得分基本低于健康样本,与健康样本较少或几乎不重叠.图9表明GMM似然评估下健康样本与患者样本分布距离较近,显著特征DTW距离评估下则有较大的正负样本分布距离,但同时存在患者样本异常评分的问题.多特征融合评估方法结合前两种评估方法,增大了正负样本的分布距离,减少了异常动作评分的出现.
图9
图9
不同评估方法对同一动作的评估打分结果
Fig.9
Evaluation scoring results of the same motion by different evaluation methods
表3 不同评估方法对于同一动作的不同实验对象评估分数主要分布区间和均值
Tab.3
样本类型 | GMM似然评估 | 显著特征DTW距离评估 | 多特征融合评估(本文方法) | |||||
---|---|---|---|---|---|---|---|---|
评分区间 | 平均值 | 评分区间 | 平均值 | 评分区间 | 平均值 | |||
健康样本 | [0.925, 0.941] | 0.933 | [0.935, 0.949] | 0.940 | [0.930, 0.944] | 0.937 | ||
患者样本 | [0.854, 0.908] | 0.874 | [0.774, 0.889] | 0.827 | [0.817, 0.892] | 0.851 |
由此得出,多特征融合评估在增大健康样本与患者样本运动质量分数分布距离的同时,也优化了健康样本和患者样本各自动作评分的分布特点,减少了显著运动特征评估患者样本分布中的患者样本异常评分数量.
3.5 多特征融合动作评估示例
采用UI-PRMD数据集中Vicon光学追踪系统采集的人体深蹲动作数据,对一组连续运动进行动作分割后,分别进行GMM似然评估、显著运动特征的DTW距离评估以及多特征融合动作评估.
动作样本分割效果如图10所示,图中灰色实线为样本的运动数据,不同颜色的矩形区域为分割出来的单次运动区间,矩形框左下角的数字为单次运动区间的序号,可以看出健康样本和患者样本都有较为清晰完整的动作分割结果,原数据中的噪声与误差对于特征提取后的动作分割影响有限.
图10
图10
深蹲动作连续重复序列的分割结果
Fig.10
Segmentation results for sequential repetition sequences of deep squat movements
采用3种评估方法对分割完成的数据进行动作评分,得到如图11所示的评分图.可以看出,在GMM似然评估与显著特征DTW距离评估中都存在个别患者样本动作分数高于健康样本的不合理情况,例如图11(a)中重复动作编号为1、8的动作和图11(b)中重复动作编号为6的动作.图10的原始动作数据显示,患者样本编号为1、8的动作明显差于健康样本,样本编号为6的患者其动作与健康样本相似,在数据细节上差别较小.在多特征融合动作评估结果中,该不合理的数据分布情况得到有效改善,健康样本的得分基本高于患者样本,编号为6的动作由于健康样本与患者样本的实际运动数据相似而评估分数相近,表明多特征融合动作评估方法能够减少单一评估方法导致的异常评估分数,使得健康样本动作分数基本高于患者样本,让两者的得分呈现较为合理的分布.
图11
图11
3种连续重复动作评估结果比较
Fig.11
Results of three continuous repetitive motion evaluation methods
4 结论
提出基于GMM的动作分割方法,在单次动作过程中建立多个状态以及运动数据在状态之间的变化对连续重复的动作序列进行分割,分割结果显示该方法在健康样本中正确率为97%,在康复患者样本中正确率为94%,正确率均较高.针对动作分割所得到的单次动作数据,提出结合显著运动特征DTW距离评估与GMM似然评估的多特征融合动作评估方法,从康复训练动作的整体动作与局部关节信息两方面进行动作评估.将本文方法在数据集UI-PRMD上进行实验,与其他动作评估方法进行对比分析,得到以下结论:
(1) 在动作分割的基础上进行动作评估, 能够满足动作相似性距离度量方法对边界固定性的需求, 无需测试对象刻意进行单次动作或人工手动分割运动数据, 有效实现对连续重复动作序列的动作评估, 使之具备在居家治疗等场景下应用的潜力.
(2) 通过融合显著特征DTW距离评估和概率模型似然评估结果, 有效提高单一概率模型动作评估对健康样本与患者样本的区分程度.对于不同实验对象, 正负样本的分离度为0.425, 较GMM似然评估方法提升19%;对于同一实验对象的不同表现, 正负样本的分离度为0.609, 同样优于GMM似然评估方法的结果.
(3) 多特征融合动作评估方法使得健康样本动作分数主要分布在0.930~0.944的得分区间, 均值为0.937;患者样本动作分数主要分布在0.817~0.892的得分区间, 均值为0.851.统计特征均优于GMM似然评估方法, 表明多特征融合动作评估方法在动作运动质量打分方面具有更好的表现.
参考文献
虚拟环境下远程自适应康复训练系统与评估模型研究
[D].
Research on adaptability and evaluation model of remote rehabilitation training system in virtual environment
[D].
Virtual Performance-Enhancing Reality (ViPER) for robot-assisted gait training[C]//2006 International Workshop on Virtual Rehabilitation
中国残疾人康复现状与问题研究
[D].
Rehabilitation and problems on disabled in China
[D].
Quality and quantity of rehabilitation exercises delivered by a 3-D motion controlled camera: A pilot study
[J].
Current trends in stroke rehabilitation. A review with focus on brain plasticity
[J].
DOI:10.1111/j.1600-0404.2010.01417.x
PMID:20726844
[本文引用: 1]
Current understanding of brain plasticity has lead to new approaches in ischemic stroke rehabilitation. Stroke units that combine good medical and nursing care with task-oriented intense training in an environment that provides confidence, stimulation and motivation significantly improve outcome. Repetitive trans-cranial magnetic stimulation (rTMS), and trans-cranial direct current stimulation (tDCS) are applied in rehabilitation of motor function. The long-term effect, optimal way of stimulation and possibly efficacy in cognitive rehabilitation need evaluation. Methods based on multisensory integration of motor, cognitive, and perceptual processes including action observation, mental training, and virtual reality are being tested. Different approaches of intensive aphasia training are described. Recent data on intensive melodic intonation therapy indicate that even patients with very severe non-fluent aphasia can regain speech through homotopic white matter tract plasticity. Music therapy is applied in motor and cognitive rehabilitation. To avoid the confounding effect of spontaneous improvement, most trials are preformed ≥3 months post stroke. Randomized controlled trials starting earlier after strokes are needed. More attention should be given to stroke heterogeneity, cognitive rehabilitation, and social adjustment and to genetic differences, including the role of BDNF polymorphism in brain plasticity.© 2010 John Wiley & Sons A/S.
The functional movement screen: A reliability study
[J].
Rough guide to the Fugl-Meyer assessment: Upper limb section
[J].DOI:10.1016/S0031-9406(05)60502-0 URL [本文引用: 1]
Objective assessment of upper-limb mobility for poststroke rehabilitation
[J].
DOI:10.1109/TBME.2015.2477095
PMID:26357394
[本文引用: 1]
The assessment of the limb mobility of stroke patients is an essential part of poststroke rehabilitation. Conventionally, the assessment is manually performed by clinicians using chart-based ordinal scales, which can be subjective and inefficient. By introducing quantitative evaluation measures, the sensitivity and efficiency of the assessment process can be significantly improved. In this paper, a novel single-index-based assessment approach for quantitative upper-limb mobility evaluation has been proposed for poststroke rehabilitation. Instead of the traditional human-observation-based measures, the proposed assessment system utilizes the kinematic information automatically collected during a regular rehabilitation training exercise using a wearable inertial measurement unit. By calculating a single index, the system can efficiently generate objective and consistent quantitative results that can reflect the stroke patient's upper-limb mobility. In order to verify and validate the proposed assessment system, experiments have been conducted using 145 motion samples collected from 21 stroke patients (12 males, nine females, mean age 58.7±19.3) and eight healthy participants. The results have suggested that the proposed assessment index can not only differentiate the levels of limb function impairment clearly (p < 0.001, two-tailed Welch's t-test), but also strongly correlate with the Brunnstrom stages of recovery (r = 0.86, p < 0.001). The assessment index is also proven to have great potential in automatic Brunnstrom stage classification application with an 82.1% classification accuracy, while using a K-nearest-neighbor classifier.
基于Kinect的肩周炎康复训练动作识别系统研究
[J].
Research on the frozen rehabilitation training action recognition system based on kinect
[J].
基于Kinect的下肢体康复动作评估系统
[J].
Assessment system of lower limb rehabilitation action based on Kinect
[J].
基于DTW和K-means的动作匹配和评估
[J].
Human motion matching and evaluation based on STDTW and K-means
[J].
Movement analysis of rehabilitation exercises: Distance metrics for measuring patient progress
[J].DOI:10.1109/JSYST.2014.2327792 URL [本文引用: 1]
Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic
[J].DOI:10.1016/j.asoc.2014.04.020 URL [本文引用: 1]
A Hidden Semi-Markov Model based approach for rehabilitation exercise assessment
[J].
DOI:S1532-0464(17)30282-4
PMID:29277330
[本文引用: 1]
In this paper, a Hidden Semi-Markov Model (HSMM) based approach is proposed to evaluate and monitor body motion during a rehabilitation training program. The approach extracts clinically relevant motion features from skeleton joint trajectories, acquired by the RGB-D camera, and provides a score for the subject's performance. The approach combines different aspects of rule and template based methods. The features have been defined by clinicians as exercise descriptors and are then assessed by a HSMM, trained upon an exemplar motion sequence. The reliability of the proposed approach is studied by evaluating its correlation with both a clinical assessment and a Dynamic Time Warping (DTW) algorithm, while healthy and neurological disabled people performed physical exercises. With respect to the discrimination between healthy and pathological conditions, the HSMM based method correlates better with the physician's score than DTW. The study supports the use of HSMMs to assess motor performance providing a quantitative feedback to physiotherapist and patients. This result is particularly appropriate and useful for a remote assessment in the home.Copyright © 2017 Elsevier Inc. All rights reserved.
A deep learning framework for assessing physical rehabilitation exercises
[J].
A computerized recognition system for the home-based physiotherapy exercises using an RGBD camera
[J].
基于单目视觉的在线人体康复动作识别
[J].
Online human rehabilitation action recognition based on monocular vision
[J].
Online segmentation of human motion for automated rehabilitation exercise analysis
[J].
Cloud-based rehabilitation and recovery prediction system for stroke patients
[J].DOI:10.1007/s10586-015-0448-6 URL [本文引用: 2]
A data set of human body movements for physical rehabilitation exercises
[J].DOI:10.3390/data3010002 URL [本文引用: 2]
/
〈 |
|
〉 |
![](../../../richhtml/1006-2467/richHtml_jats1_1/images/1.png)