连续康复训练动作分割与评估

图1 连续康复训练动作分割与评估框架

Fig.1 Framework of continuous rehabilitation exercises segmentation and evaluation

人体运动数据通常是由多个人体关键点坐标组成的高维运动向量,用来表征运动时每个人体关键点的位置信息,进一步计算能够得到运动时每一个关节角度的变化信息.为了使常用于描述低维数据的GMM能够表达人体运动信息,需要对人体运动数据进行特征提取来降低维度.

首先对运动数据进行预处理,利用运动采集仪器得到的动作数据为关节角度值,若以角度为单位,数据区间为[0°, 180°].不同关节角数据变化差异较大,不进行缩放会对后续建模处理带来计算开销过大、特征混杂的问题,影响算法收敛速度.因此,需要对运动数据进行归一化处理.数据预处理具体实施步骤为:先得到整体运动数据的均值、最大值与最小值,将所有数据减去均值使得数据均匀分布在0两侧,以最大值与最小值的差值作为缩放比例,再将所有数据乘以缩放比例即可得到在区间 [-1, 1]的所有数据.

对于预处理后的运动数据,采用主成分分析法对高维人体运动数据进行降维处理,利用正交变换对一系列可能相关的变量观测值进行线性变换,从而投影为一系列线性不相关变量的值,保留数据中对方差贡献最大的特征作为动作分析的主要特征.最后,取用具有最大方差的特征数据作为人体运动特征进行后续分析,其方差大小占所有方差总和的97.8%.

1.1 GMM原理

GMM是一种常用的聚类算法,能够用多个正态分布的概率密度函数的线性组合来描述任意维度变量的分布,因此有研究^[15]将该模型用于人体动作建模.

将观测数据表示为x,模型参数表示为θ,则GMM的概率分布模型如下:

(1)P(x|θ)=

\overset{K}{\sum_{k = 1}}

α_kϕ(x|θ_k)

式中:K为高斯模型的个数;α_k为各高斯模型的系数,α_k≥0, $\overset{K}{\sum_{k = 1}}$ α_k=1;ϕ(x|θ_k)为高斯分布密度函数,对于一维GMM,θ_k=(μ_k, $σ_{k}^{2}$ ),其中μ_k为样本均值, $σ_{k}^{2}$ 为样本方差;对于二维GMM,θ_k=(μ_k, Σ_k),将观测数据表示为列向量x,维数为2,具体形式如下式所示:

(2)P(x|θ)=

\overset{K}{\sum_{k = 1}}

α_kϕ(x|θ_k)=

\overset{K}{\sum_{k = 1}}

α_k

\frac{1}{{(2 π)}^{D / 2} {|Σ_{k}|}^{1 / 2}}

×exp

[- \frac{1}{2} (x - μ_{k})^{T} Σ_{k}^{- 1} (x - μ_{k})]

式中:D为数据维数;μ_k为样本均值,维数为2;Σ_k为样本的协方差矩阵,维数为2×2.

对于数据样本序列x=(x₁, x₂, …, x_j),j=1, 2, …, N,由GMM计算似然对数概率值的计算方法如下:

(3)ln P(x)=

\overset{N}{\sum_{j = 1}}

\overset{K}{\sum_{k = 1}}

α_kϕ(x_j|μ_k, Σ _k)

基于式(3)计算,可以得到每个运动特征点上在GMM中的对数似然概率值,通过求取均值即可得到单次动作序列的平均似然概率值,基于概率模型的动作评估根据此值来生成相应的动作分数.

对于GMM的参数计算,可以使用期望极大(Expectation Maximization, EM)算法来进行迭代求解^[19].EM算法的计算主要为两步,分别为E步与M步.

对于观测变量数据x_j,反映其来自第k个分模型的隐变量记为γ_jk,k=1, 2, …, K.只有当第j个观测来自第k个分模型时,γ_jk值为1,其他情况下γ_jk的值为0.完全数据(x_j, γ_j₁, γ_j₂, …, γ_jK|θ)的似然函数如下:

(4)P(x, γ|θ)=

\overset{N}{\prod_{j = 1}}

P(x_j, γ _j₁, γ _j₂, …, γ _jK|θ)=

\overset{K}{\prod_{k = 1}} \overset{N}{\prod_{j = 1}} {(α_{k} ϕ (x_{j} | θ_{k}))}^{γ_{j k}}

E步构造包含模型参数的Q函数,模型参数为θ=(α, μ, Σ),如下:

(5)Q(θ, θ⁽ⁱ⁾)=E

(l n P (x, γ | θ) |x, θ^{(i)})

\overset{K}{\sum_{k = 1}} (\overset{N}{\sum_{j = 1}} {\hat{γ}}_{j k} l n α_{k} + \overset{N}{\sum_{j = 1}} {\hat{γ}}_{j k} l n ϕ (x_{j} | μ_{k}, Σ_{k}))

式中:E(·)为期望函数;θ⁽ⁱ⁾为第i次迭代参数θ的估计值; ${\hat{γ}}_{j k}$ 为第k个分模型对观测数据x_j的响应度,即

(6)

{\hat{γ}}_{j k}

=E(γ_jk|x, θ)=P(γ _jk=1|x_j, θ _k)=

\frac{α_{k} ϕ (x_{j} | θ_{k})}{\overset{K}{\sum_{k = 1}} α_{k} ϕ (x_{j} | θ_{k})}

j=1, 2, …, N; k=1, 2, …, K

M步求使Q(θ, θ⁽ⁱ⁾)极大化的θ,确定第 i+1次迭代的参数的估计值θ⁽ⁱ⁺¹⁾,如下:

(7)θ⁽ⁱ⁺¹⁾=arg

\underset{θ}{m a x}

Q(θ, θ⁽ⁱ⁾)

初始化θ⁽⁰⁾=(α⁽⁰⁾, μ⁽⁰⁾, Σ⁽⁰⁾).

为求取对应的模型参数,将式(5)分别对μ_k、Σ_k求偏导并令其为0,在 $\overset{K}{\sum_{k = 1}}$ α_k=1时对α_k求偏导并令其为0,得到每个模型参数的迭代值,每一轮的迭代如下:

(8)

\begin{array}{l} γ_{j k}^{(i)} = \frac{α_{k}^{(i)} ϕ (x_{j} | μ_{k}^{(i)}, Σ_{k}^{(i)})}{\overset{K}{\sum_{k = 1}} α_{k}^{(i)} ϕ (x_{j} | μ_{k}^{(i)}, Σ_{k}^{(i)})} \\ μ_{k}^{(i + 1)} = \frac{\overset{N}{\sum_{j = 1}} γ_{j k}^{(i)} x_{j}}{\overset{N}{\sum_{j = 1}} γ_{j k}^{(i)}} \\ Σ_{k}^{(i + 1)} = \frac{\overset{N}{\sum_{j = 1}} γ_{j k}^{(i)} (x_{j} - μ_{k}^{(i + 1)}) (x_{j} - μ_{k}^{(i)})^{T}}{\overset{N}{\sum_{j = 1}} γ_{j k}^{(i)}} \\ α_{k}^{(i + 1)} = \frac{\overset{N}{\sum_{j = 1}} γ_{j k}^{(i)}}{N} \end{array}\}

k=1, 2, …, K

重复E步与M步,直到算法收敛,得到GMM的参数.

1.2 连续重复动作序列分割

康复训练中的动作需要康复患者多次重复以达到锻炼相应肢体的目的,在运动数据上表现为一连串连续重复动作序列.如果要评估患者的动作,就需要对连续动作进行分割,得到单次动作的运动数据,再进行动作建模以及后续的动作评估.进行连续重复动作序列的分割时,首先需要在已分割的健康人运动数据样本上基于概率模型进行动作建模,以概率模型的特性建立分割方法,然后应用到健康人与康复患者的运动数据当中.

利用二维GMM对归一化处理、特征提取后的动作数据进行建模,可以获得如图2所示的各高斯模型分布.图中:T_f为时间帧;W_f为角度特征值;椭圆形区域为各高斯模型的主要分布,数字代表各模型编号.由于经过EM算法的迭代,原本有序的编号重新排列.其中高斯模型数量根据各高斯模型能否均匀完整覆盖所有特征数据进行设定,同时也需要根据后续动作分割效果进行调整,在本文中,高斯模型数量设定为5,在该数量下各高斯模型能较好地描述所有特征数据的分布且能获得较好的动作分割效果.

图2

图2 运动特征点在高斯混合模型上的分布

Fig.2 Distribution of motion feature points on a Gaussian mixture model

文献[18]利用自左向右的隐马尔科夫模型完成对连续重复动作的动作分割,其隐马尔科夫模型中由状态序列到观测序列的观测概率矩阵为二维GMM,每一个高斯模型视为隐马尔科夫模型的一个状态.由此,将动作模型划分为多个状态进行动作分割,各状态对应的就是GMM中的各高斯模型.一次完整的动作周期数据是按序遍历各高斯模型后得到的,故可以通过检测运动数据中所遍历的高斯模型顺序来判断当前运动数据的时间切片是否符合概率模型分布,若符合则保留分布相符合的部分作为一次动作的区间,即完成一次动作分割,省去额外的概率计算步骤.

为降低运算量与避免使用滑动窗口,采用基于特征的匹配队列方法^[18]进行动作分割.对于连续重复运动,其单次动作周期常出现在导数为0处,表明人体在此刻到达动作的末端,即将开始下一段动作.因此可以选取运动曲线中的极值点作为待分割区域的起点与终点.为避免匹配队列中各匹配点过于集中以及数据噪声的影响,需要优化匹配队列.将幅值较小的极值点进行过滤,同时对两个0交叉点中存在多个极值点的情况进行取均值处理,保证在相邻0交叉点之间只有一个极值点.若直接使用所有的极值点输入特征匹配队列,则会出现错误分割动作区间的情况.如图3所示,左侧曲线上的空心圆代表特征匹配队列中的预备分割点,背景中矩形框代表动作分割的各个区间,矩形框左下角的编号代表重复动作编号,匹配队列中的每一分段都将由GMM计算状态序列.由图3可知,未进行优化的特征匹配队列会产生异常分割点和较近距离内多个分割点.对异常分割点所形成的动作区间进行动作分割判断时,会由于部分数据分布特征相似而产生动作分割错误的情况,同时也会产生单次动作区间截断的问题,而较近距离内的多个分割点则会导致冗余运算与错误分割.因此,优化特征匹配队列能够避免异常分割点和重复分割点的出现,提高动作分割的正确率.对连续重复动作的最终分割结果如图4所示.

图3

图3 特征匹配队列优化对动作分割的影响

Fig.3 Impact of feature matching queue optimization on motion segmentation

图4

图4 连续重复动作序列的动作分割

Fig.4 Motion segmentation for continuous repetitive motion sequences

2 多特征融合动作评估

动作评估的相关算法主要分为距离度量和概率模型评估.距离度量是通过测量并计算特定动作运动指标来评估动作的标准程度,例如深蹲动作中的膝关节角度;概率模型评估则是先提取全身运动特征,对降维后的运动数据用概率模型描述,计算每个运动特征点的概率,以此评判动作的好坏.

以上两种方法对于连续重复动作序列的动作评估均有不足,距离度量需要所对比的动作序列具有相同的起点与终点,概率模型评估则容易得出正负样本评估分数相近的结果.但由于概率模型可以对连续重复动作序列进行动作分割,所以本文在动作分割的基础上融合概率模型动作评估与动作相似性距离度量,建立多特征融合动作评估方法,既弥补概率模型动作评估区分度不高的缺陷,又满足动作相似性度量对单次动作分割的需求.

2.1 显著运动特征的动作相似性距离度量

在所有健康样本中,可以根据医学方面的先验知识手工制作或者挑选显著运动特征.例如,在深蹲动作中,可以直接挑选膝关节与髋关节的角度变化信息作为显著运动特征,因为这两个关节是参与运动的主要关节,直接关系到运动质量与准确度;也可以根据相关医学量表,制作运动特征,例如骨盆前倾、高低肩、脊柱倾斜等.

采用运动关节的角度变化作为显著运动特征时,对所有健康样本中该关节的运动数据求取均值,得到标准运动角度变化曲线;制作多个标准曲线,得到标准动作模板.选取深蹲动作中两个具有显著正负样本区别的角度特征,进行数据缩放后制作标准动作模板,则同一动作下不同样本与标准动作模板的比较如图5所示.

图5

图5 健康样本、患者样本与动作模板的两个显著特征比较

Fig.5 Comparison of two significant features between healthy samples, patient samples and motion templates

可以利用度量时间序列相似性的DTW算法来计算同一动作下不同样本与标准动作模板的相似性,Hoda等^[20]已通过临床实验验证了该算法在康复评估中的有效性.DTW算法^[11]是一种用来衡量两个时间序列数据相似度的方法,可用于模板匹配,例如孤立词语音识别、手势识别等.对于两个形貌相似的时间序列数据,它们在时间轴上可能未对齐,因此需要在计算两者相似度时,将其中一个或者两个序列的时间轴进行延伸和缩短,来达到映射对齐的要求,如果两个序列的点相互正确对应,则两者之间的欧氏距离就会达到最小.

DTW算法的核心为动态规划,令动作模板的时间序列数据为

A=(a₁, a₂, …, a_y),y=1, 2, …, U₁

测试动作的时间序列数据为

B=(b₁, b₂, …, b_z),z=1, 2, …, U₂

U₁与U₂分别为模板动作和测试动作的时间序列长度.令D(y, z)为点a_y与b_z之间的DTW距离,DTW算法的状态转移方程如下:

(9)D(y, z)=d(a_y, b_z)+min{D(y-1, z), D(y, z-1), D(y-1, z-1)}

式中:d(a_y, b_z)为点a_y与b_z之间的欧氏距离.根据动态规划的思路,从D(1, 1)开始,通过迭代中每一步选择局部最优值,计算到D(U₁, U₂)时便能得到全局最优解,只要在获得最优解后逆向遍历就能找出其所对应的DTW路径,如图6所示.图中:W为时间序列数据的值.

图6

图6 DTW算法

Fig.6 DTW algorithm

由于模板是通过健康样本生成的,所以计算健康样本与模板动作的DTW距离时,得到的结果基本都会维持在一个较低且集中的距离范围内;而患者样本在显著运动特征方面数据差异较大,与模板动作相似度低,两者之间的DTW距离较远,且DTW距离分布也较为离散.

2.2 多特征融合动作评估方法

多特征融合动作评估先使用数据降维方法处理运动数据,再利用GMM对降维后的运动数据进行动作建模.由于所建立的概率模型对动作只有整体性描述,缺少类似康复量表等具体运动指标的局部性描述,所以重新从原始运动数据中提取显著运动特征,建立动作模板并进行动作评估,将概率模型与显著运动特征的评估结果融合,给出最终的动作评估分数.多特征融合动作评估的计算方法如下:

(10)G_f=βG_g+(1-β)G_d

式中:G_f、G_g、G_d分别为多特征融合评估、GMM似然评估以及显著运动特征DTW距离评估的分数,且均通过放缩手段统一到相同数据区间;β为评估分数的融合系数,取值为0.5,可根据具体健康人与康复患者动作分数分布特点进行调整.

多特征融合动作评估方法流程图如图7所示.

图7

图7 多特征融合动作评估方法流程图

Fig.7 Flow chart of multi-feature fusion motion evaluation method

3 动作评估实验结果及分析

3.1 实验数据集

为验证多特征融合的康复训练动作评估方法的有效性,采用UI-PRMD数据集^[21],该数据集包含来自10个实验对象的人体运动数据,其中有10个动作类别(深蹲、跨栏步、内联弓步等),每个动作类别由实验对象产生正确样本和不正确样本,不正确样本用来模拟康复患者的动作,表现出一些动作的运动障碍.采用Vicon光学追踪系统和Kinect传感器采集数据,其中每种方式采集的数据包含人体关键点的角度数据和位置数据.除以上特点外,数据集预先完成所有动作的时间序列数据分割,每个实验对象的每个动作都有单次重复动作的运动数据,方便研究者进行人体动作研究.

3.2 连续重复动作序列分割

以深蹲动作为研究对象,对健康样本分割数据集进行GMM建模后,对数据集中未进行动作分割的连续重复动作序列进行动作分割,部分健康样本与患者样本的动作分割结果如所图8所示.图中:W_r为实际关节角度值;不同底色的矩形区域为分割得到的单次重复动作区间.

图8

图8 深蹲动作样本进行分割的部分结果

Fig.8 Partial results of segmentation of deep squat movement sample

所有健康样本与患者样本的动作分割结果中正确与错误数量如表1所示.统计结果表明,基于GMM模型的动作分割在数据集上表现出色,对健康样本的识别率达到97%,对患者样本的识别率达到94%.由分析分割结果可以看出,该分割方法对动作序列中连续有规律的动作分割较准确,对首尾两端的动作以及运动间隔时间较长的动作分割存在一定困难.

表1 连续重复动作序列分割结果

Tab.1 Results of continuous repetitive motion sequence segmentation

样本类型	样本总数	正确分割数	错误分割数
健康样本	100	97	3
患者样本	100	94	6

新窗口打开| 下载CSV

3.3 多种动作评估方法效果比较

为表征多种评估方法的评估效果,采用文献[15]中的数据缩放方式和分离度(Separation Degree,SD)评价指标,计算健康人群与康复患者之间动作评估结果的区分度.

该数据缩放方式将数据缩放到区间[1,20],该取值范围为经验取值^[15],对于健康样本h=(h₁, h₂, …, h_l)与患者样本p=(p₁, p₂, …, p_l),l=1, 2, …, L,具体数据放缩的计算公式为

(11)

\begin{array}{l} h'_{l} = \frac{19 (h_{l} - m)}{M - m} + 1 \\ p'_{l} = \frac{19 (p_{l} - m)}{M - m} + 1 \end{array}\}

式中:M= $m a x_{i, j \in \underline{L}}$ {h_i, p_j}, m= $m i n_{i, j \in \underline{L}}$ {h_i, p_j}分别为两个样本中的最大值与最小值, $\underline{L}$ ={1, 2, …, L}.

对于放缩后的样本数据,通过SD指标(S_D)计算两个动作评估群体样本之间的区分度,输出-1到1之间的标量,该值越接近0表明两个群体样本之间区分度越低,越靠近-1或者1则表明两个群体之间具有越好的区分度.对于数据放缩后的健康样本h'=(h'₁, h'₂, …, h'_n),n=1, 2, …, N₁,与患者样本p'=(p'₁, p'₂, …, p'_q),q=1, 2, …, N₂,N₁与N₂分别是两个样本的数量,计算方法如下:

(12)S_D(h', p')=

\frac{1}{N_{1} N_{2}} \overset{N_{1}}{\sum_{n = 1}} \overset{N_{2}}{\sum_{q = 1}} \frac{h'_{n} - p'_{q}}{h'_{n} + p'_{q}}

在相同深蹲动作数据^[21]上将多特征融合评估方法与各评估方法进行对比,得到如表2所示的对比结果.首先用各方法对所有实验对象的数据建立一个泛化的评估模型,利用该模型得出每个动作样本的评估得分,在不同实验对象之间比较评估得分的分离度.其次,由于数据集是通过健康人模拟康复患者表现来得到患者数据样本,故可以通过对同一个实验对象单独建立特化的评估模型,来提高各方法在所有降维数据上的分离度.由表2的对比结果可以看出,本文多特征融合评估方法在泛化动作模型和特化动作模型两方面均优于现有评估方法结果,其中泛化动作模型方面提高较大,相较原先较好的GMM似然评估方法提高19%.

表2 不同评估方法对于同一动作样本的分离度对比

Tab.2 Comparison of separation degree of different evaluation methods for the same motion samples

比较对象	欧氏距离	马氏距离	DTW 距离	GMM 似然	多特征融合 (本文方法)
不同实验对象	0.335	0.144	0.345	0.357	0.425
同一实验对象	0.523	0.379	0.529	0.584	0.609

新窗口打开| 下载CSV

3.4 多种动作评估方法评分数据分布比较

根据文献[15]中所使用的换算公式,将人体运动数据从GMM似然估计得分、显著运动特征估计得分以及多特征融合评估得分转化为[0,1]之间的分数值,对于健康样本h=(h₁, h₂, …, h_l)与患者样本p=(p₁, p₂, …, p_l),l=1, 2, …, L,换算公式为

(13)

\begin{array}{l} {\bar{h}}_{l} = (1 + e^{\frac{h_{l}}{μ + 3 δ} - α_{1}})^{- 1} \\ {\bar{p}}_{l} = {[1 + e^{\frac{h_{l}}{μ + 3 δ} - α_{1}} + \frac{p_{l} - h_{l}}{α_{2} (μ + 3 δ)}]}^{- 1} \end{array}\}

式中:μ为健康样本均值;δ为健康样本方差;α₁与α₂为两个经验参数,分别取3.2和10,可根据具体数据特点调整.

根据式(13)计算结果进行运动评估分数绘图,得到如图9所示的数据分布箱图与各评估方法分数图.图中:G为动作评分;R为重复动作编号,表示同一动作的重复执行次数.在各评估方法运动得分的子图中,可以看出在GMM似然评估中,患者样本与健康样本评分分布距离不大,但一些病患样本表现出与健康样本相同的分数;在显著运动特征评估中,患者样本评分主要分布区间与健康样本评分距离较大,但同时也出现患者样本评分数据离散程度过大、部分患者样本评分结果高于健康样本的异常数据结果;在多特征融合评估中,健康样本评分基本保持较为集中且得分较高的分布,病患样本评分离散分布,得分基本低于健康样本,与健康样本较少或几乎不重叠.图9表明GMM似然评估下健康样本与患者样本分布距离较近,显著特征DTW距离评估下则有较大的正负样本分布距离,但同时存在患者样本异常评分的问题.多特征融合评估方法结合前两种评估方法,增大了正负样本的分布距离,减少了异常动作评分的出现.

图9

图9 不同评估方法对同一动作的评估打分结果

Fig.9 Evaluation scoring results of the same motion by different evaluation methods

以图9中箱图各数据的上下四分位点作为评估分数的主要分布区间,如表3所示,在健康样本运动评估分数分布相近的情况下,多特征融合评估患者样本的主要分布区间为[0.817, 0.892],均值为0.851,均优于GMM似然评估方法的分布区间与均值.

表3 不同评估方法对于同一动作的不同实验对象评估分数主要分布区间和均值

Tab.3 Main distribution intervals and mean values of evaluation scores of different subjects for the same motion by different evaluation methods

样本类型	GMM似然评估		显著特征DTW距离评估		多特征融合评估(本文方法)
样本类型	评分区间	平均值	评分区间	平均值	评分区间	平均值
健康样本	[0.925, 0.941]	0.933	[0.935, 0.949]	0.940	[0.930, 0.944]	0.937
患者样本	[0.854, 0.908]	0.874	[0.774, 0.889]	0.827	[0.817, 0.892]	0.851

新窗口打开| 下载CSV

由此得出,多特征融合评估在增大健康样本与患者样本运动质量分数分布距离的同时,也优化了健康样本和患者样本各自动作评分的分布特点,减少了显著运动特征评估患者样本分布中的患者样本异常评分数量.

3.5 多特征融合动作评估示例

采用UI-PRMD数据集中Vicon光学追踪系统采集的人体深蹲动作数据,对一组连续运动进行动作分割后,分别进行GMM似然评估、显著运动特征的DTW距离评估以及多特征融合动作评估.

动作样本分割效果如图10所示,图中灰色实线为样本的运动数据,不同颜色的矩形区域为分割出来的单次运动区间,矩形框左下角的数字为单次运动区间的序号,可以看出健康样本和患者样本都有较为清晰完整的动作分割结果,原数据中的噪声与误差对于特征提取后的动作分割影响有限.

图10

图10 深蹲动作连续重复序列的分割结果

Fig.10 Segmentation results for sequential repetition sequences of deep squat movements

采用3种评估方法对分割完成的数据进行动作评分,得到如图11所示的评分图.可以看出,在GMM似然评估与显著特征DTW距离评估中都存在个别患者样本动作分数高于健康样本的不合理情况,例如图11(a)中重复动作编号为1、8的动作和图11(b)中重复动作编号为6的动作.图10的原始动作数据显示,患者样本编号为1、8的动作明显差于健康样本,样本编号为6的患者其动作与健康样本相似,在数据细节上差别较小.在多特征融合动作评估结果中,该不合理的数据分布情况得到有效改善,健康样本的得分基本高于患者样本,编号为6的动作由于健康样本与患者样本的实际运动数据相似而评估分数相近,表明多特征融合动作评估方法能够减少单一评估方法导致的异常评估分数,使得健康样本动作分数基本高于患者样本,让两者的得分呈现较为合理的分布.

图11

图11 3种连续重复动作评估结果比较

Fig.11 Results of three continuous repetitive motion evaluation methods

4 结论

提出基于GMM的动作分割方法,在单次动作过程中建立多个状态以及运动数据在状态之间的变化对连续重复的动作序列进行分割,分割结果显示该方法在健康样本中正确率为97%,在康复患者样本中正确率为94%,正确率均较高.针对动作分割所得到的单次动作数据,提出结合显著运动特征DTW距离评估与GMM似然评估的多特征融合动作评估方法,从康复训练动作的整体动作与局部关节信息两方面进行动作评估.将本文方法在数据集UI-PRMD上进行实验,与其他动作评估方法进行对比分析,得到以下结论:

(1) 在动作分割的基础上进行动作评估, 能够满足动作相似性距离度量方法对边界固定性的需求, 无需测试对象刻意进行单次动作或人工手动分割运动数据, 有效实现对连续重复动作序列的动作评估, 使之具备在居家治疗等场景下应用的潜力.

(2) 通过融合显著特征DTW距离评估和概率模型似然评估结果, 有效提高单一概率模型动作评估对健康样本与患者样本的区分程度.对于不同实验对象, 正负样本的分离度为0.425, 较GMM似然评估方法提升19%;对于同一实验对象的不同表现, 正负样本的分离度为0.609, 同样优于GMM似然评估方法的结果.

(3) 多特征融合动作评估方法使得健康样本动作分数主要分布在0.930~0.944的得分区间, 均值为0.937;患者样本动作分数主要分布在0.817~0.892的得分区间, 均值为0.851.统计特征均优于GMM似然评估方法, 表明多特征融合动作评估方法在动作运动质量打分方面具有更好的表现.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

崔迪.

虚拟环境下远程自适应康复训练系统与评估模型研究

[D]. 宁波: 中国科学院大学(中国科学院宁波材料技术与工程研究所), 2017.

[本文引用: 3]

CUI

Research on adaptability and evaluation model of remote rehabilitation training system in virtual environment

[D]. Ningbo: Ningbo Institute of Material Technology, Chinese Academy of Sciences, 2017.

[本文引用: 3]

[2]

LUNENBURGER

, WELLNER

, BANZ

, et al.

Virtual Performance-Enhancing Reality (ViPER) for robot-assisted gait training[C]//2006 International Workshop on Virtual Rehabilitation

New York, USA: IEEE, 2006: 174-177.

[3]

耿松松.

中国残疾人康复现状与问题研究

[D]. 兰州: 兰州大学, 2013.

GENG

Songsong

Rehabilitation and problems on disabled in China

[D]. Lanzhou: Lanzhou University, 2013.

[4]

KOMATIREDDY

, CHOKSHI

, BASNETT

, et al.

Quality and quantity of rehabilitation exercises delivered by a 3-D motion controlled camera: A pilot study

[J]. International Journal of Physical Medicine & Rehabilitation, 2014, 2(4): 214.

[5]

JOHANSSON

B B

Current trends in stroke rehabilitation. A review with focus on brain plasticity

[J]. Acta Neurologica Scandinavica, 2011, 123(3): 147-159.

DOI:10.1111/j.1600-0404.2010.01417.x PMID:20726844 [本文引用: 1]

Current understanding of brain plasticity has lead to new approaches in ischemic stroke rehabilitation. Stroke units that combine good medical and nursing care with task-oriented intense training in an environment that provides confidence, stimulation and motivation significantly improve outcome. Repetitive trans-cranial magnetic stimulation (rTMS), and trans-cranial direct current stimulation (tDCS) are applied in rehabilitation of motor function. The long-term effect, optimal way of stimulation and possibly efficacy in cognitive rehabilitation need evaluation. Methods based on multisensory integration of motor, cognitive, and perceptual processes including action observation, mental training, and virtual reality are being tested. Different approaches of intensive aphasia training are described. Recent data on intensive melodic intonation therapy indicate that even patients with very severe non-fluent aphasia can regain speech through homotopic white matter tract plasticity. Music therapy is applied in motor and cognitive rehabilitation. To avoid the confounding effect of spontaneous improvement, most trials are preformed ≥3 months post stroke. Randomized controlled trials starting earlier after strokes are needed. More attention should be given to stroke heterogeneity, cognitive rehabilitation, and social adjustment and to genetic differences, including the role of BDNF polymorphism in brain plasticity.© 2010 John Wiley & Sons A/S.

[6]

TEYHEN

D S

, SHAFFER

S W

, LORENSON

C L

, et al.

The functional movement screen: A reliability study

[J]. The Journal of Orthopaedic & Sports Physical Therapy, 2012, 42(6): 530-540.

DOI:10.1016/S0031-9406(05)60502-0 URL [本文引用: 1]

[7]

DEAKIN

, HILL

, POMEROY

V M

Rough guide to the Fugl-Meyer assessment: Upper limb section

[J]. Physiotherapy, 2003, 89(12): 751-763.

[8]

ZHANG

, FANG

, GU

X D

Objective assessment of upper-limb mobility for poststroke rehabilitation

[J]. IEEE Transactions on Bio-medical Engineering, 2016, 63(4): 859-868.

DOI:10.1109/TBME.2015.2477095 PMID:26357394 [本文引用: 1]

The assessment of the limb mobility of stroke patients is an essential part of poststroke rehabilitation. Conventionally, the assessment is manually performed by clinicians using chart-based ordinal scales, which can be subjective and inefficient. By introducing quantitative evaluation measures, the sensitivity and efficiency of the assessment process can be significantly improved. In this paper, a novel single-index-based assessment approach for quantitative upper-limb mobility evaluation has been proposed for poststroke rehabilitation. Instead of the traditional human-observation-based measures, the proposed assessment system utilizes the kinematic information automatically collected during a regular rehabilitation training exercise using a wearable inertial measurement unit. By calculating a single index, the system can efficiently generate objective and consistent quantitative results that can reflect the stroke patient's upper-limb mobility. In order to verify and validate the proposed assessment system, experiments have been conducted using 145 motion samples collected from 21 stroke patients (12 males, nine females, mean age 58.7±19.3) and eight healthy participants. The results have suggested that the proposed assessment index can not only differentiate the levels of limb function impairment clearly (p < 0.001, two-tailed Welch's t-test), but also strongly correlate with the Brunnstrom stages of recovery (r = 0.86, p < 0.001). The assessment index is also proven to have great potential in automatic Brunnstrom stage classification application with an 82.1% classification accuracy, while using a K-nearest-neighbor classifier.

[9]

汤翾, 黄襄念, 周杉.

基于Kinect的肩周炎康复训练动作识别系统研究

[J]. 现代计算机(专业版), 2014(23): 53-55.

TANG

Xuan

, HUANG

Xiangnian

, ZHOU

Shan

Research on the frozen rehabilitation training action recognition system based on kinect

[J]. Modern Computer, 2014(23): 53-55.

[10]

杨文璐, 王杰, 夏斌, 等.

基于Kinect的下肢体康复动作评估系统

[J]. 传感器与微系统, 2017, 36(1): 91-94.

YANG

Wenlu

, WANG

Jie

, XIA

Bin

, et al.

Assessment system of lower limb rehabilitation action based on Kinect

[J]. Transducer & Microsystem Technologies, 2017, 36(1): 91-94.

[11]

吴齐云, 战荫伟, 邵阳.

基于DTW和K-means的动作匹配和评估

[J]. 电子技术应用, 2016, 42(8): 141-143.

Qiyun

, ZHAN

Yinwei

, SHAO

Yang

Human motion matching and evaluation based on STDTW and K-means

[J]. Application of Electronic Technique, 2016, 42(8): 141-143.

DOI:10.1109/JSYST.2014.2327792 URL [本文引用: 1]

[12]

HOUMANFAR

, KARG

, KULIĆ

Movement analysis of rehabilitation exercises: Distance metrics for measuring patient progress

[J]. IEEE Systems Journal, 2016, 10(3): 1014-1025.

[13]

C J

, CHIANG

C Y

, HUANG

J Y

Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic

[J]. Applied Soft Computing, 2014, 22: 652-666.

DOI:10.1016/j.asoc.2014.04.020 URL [本文引用: 1]

[14]

CAPECCI

, CERAVOLO

M G

, FERRACUTI

, et al.

A Hidden Semi-Markov Model based approach for rehabilitation exercise assessment

[J]. Journal of Biomedical Informatics, 2018, 78: 1-11.

DOI:S1532-0464(17)30282-4 PMID:29277330 [本文引用: 1]

In this paper, a Hidden Semi-Markov Model (HSMM) based approach is proposed to evaluate and monitor body motion during a rehabilitation training program. The approach extracts clinically relevant motion features from skeleton joint trajectories, acquired by the RGB-D camera, and provides a score for the subject's performance. The approach combines different aspects of rule and template based methods. The features have been defined by clinicians as exercise descriptors and are then assessed by a HSMM, trained upon an exemplar motion sequence. The reliability of the proposed approach is studied by evaluating its correlation with both a clinical assessment and a Dynamic Time Warping (DTW) algorithm, while healthy and neurological disabled people performed physical exercises. With respect to the discrimination between healthy and pathological conditions, the HSMM based method correlates better with the physician's score than DTW. The study supports the use of HSMMs to assess motor performance providing a quantitative feedback to physiotherapist and patients. This result is particularly appropriate and useful for a remote assessment in the home.Copyright © 2017 Elsevier Inc. All rights reserved.

[15]

LIAO

Y L

, VAKANSKI

, XIAN

A deep learning framework for assessing physical rehabilitation exercises

[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2020, 28(2): 468-477.

[本文引用: 5]

[16]

, AKGUL

Y S

A computerized recognition system for the home-based physiotherapy exercises using an RGBD camera

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(6): 1160-1171.

[17]

闫航, 陈刚, 崔莉亚, 等.

基于单目视觉的在线人体康复动作识别

[J]. 计算机应用与软件, 2021, 38(2): 171-178.

YAN

Hang

, CHEN

Gang

, CUI

Liya

, et al.

Online human rehabilitation action recognition based on monocular vision

[J]. Computer Applications & Software, 2021, 38(2): 171-178.

[18]

LIN

J F S

, KULIĆ

Online segmentation of human motion for automated rehabilitation exercise analysis

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(1): 168-180.

[本文引用: 3]

[19]

李航.

统计学习方法[M]. 第2版. 北京: 清华大学出版社, 2019.

Hang

Statistical learning methods[M]. 2nd ed. Beijing: Tsinghua University Press, 2019.