卒中是主要致殘原因之一，約60%的卒中患者存在上肢功能障礙，嚴(yán)重影響日常生活與獨(dú)立性。傳統(tǒng)康復(fù)訓(xùn)練往往依賴治療師一對一指導(dǎo)，過程耗時耗力，在人口老齡化社會更顯得供需矛盾突出。近年來，機(jī)器人輔助康復(fù)成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關(guān)鍵：當(dāng)患者主動嘗試動作時，康復(fù)機(jī)器人提供必要幫助，這種模式更能促進(jìn)神經(jīng)可塑性和康復(fù)效果。但要實(shí)現(xiàn)精準(zhǔn)的按需輔助，機(jī)器人必須能“讀懂”患者的動作意圖。表面肌電(sEMG)信號因其、實(shí)時、信息豐富的特點(diǎn)，被認(rèn)為是有潛力的人機(jī)交互信號源。然而，卒中患者的sEMG信號存在變異性大、噪聲高等問題，如何準(zhǔn)確識別其手勢意圖成為難點(diǎn)。

近日，康復(fù)大學(xué)周平教授團(tuán)隊，利用深度學(xué)習(xí)技術(shù)系統(tǒng)探索了卒中后手勢識別的可行性與關(guān)鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執(zhí)行6種手部動作時的sEMG信號，比較了不同特征域（時域、頻域、小波域）、數(shù)據(jù)結(jié)構(gòu)（一維與二維圖像）和網(wǎng)絡(luò)架構(gòu)（CNN、CNN-LSTM、CNN-LSTM-Attention）對手勢識別準(zhǔn)確率的影響。結(jié)果發(fā)現(xiàn)，在所有組合中，頻域特征表現(xiàn)為突出：被試內(nèi)實(shí)驗(yàn)中，CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準(zhǔn)確率；跨被試遷移學(xué)習(xí)中，CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)佳，平均準(zhǔn)確率達(dá)到68.38%。此外，研究團(tuán)隊還引入模型投票與貝葉斯融合兩種后處理策略，進(jìn)一步提升了識別穩(wěn)定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢識別中的佳特征選擇與模型配置，還展示了深度學(xué)習(xí)結(jié)合頻域sEMG在康復(fù)機(jī)器人、家庭康復(fù)及智能監(jiān)測中的廣闊應(yīng)用前景。

圖1. 論文信息

本研究共納入8名慢性卒中患者（5男3女），其上肢運(yùn)動功能受損程度涵蓋輕度至重度，依據(jù)Fugl-Meyer 上肢評估（FMA）進(jìn)行分級，詳情見表I。實(shí)驗(yàn)任務(wù)為完成6種手部動作：手掌開合(HO、HC)；拇食中三指開/合（TIMO/TIMC）；中、無名、小三指開/合（MRLO/MRLC）。在動作執(zhí)行過程中，研究人員使用外骨骼手協(xié)助患者完成指定動作，同時通過高密度表面肌電系統(tǒng)采集前臂7塊肌肉（包括指淺屈肌、指伸肌、拇長外展肌等）的sEMG信號（圖2）。

表1. 卒中受試者詳細(xì)信息

圖2. 卒中患者數(shù)據(jù)采集實(shí)驗(yàn)裝置

采樣頻率設(shè)定為1000Hz，信號經(jīng)20–450Hz帶通濾波處理。對濾波后的7通道sEMG信號進(jìn)行滑窗分割，窗長為102ms，步長51 ms，以構(gòu)建一維與二維的數(shù)據(jù)結(jié)構(gòu)，一維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×1×7，二維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×7×1，其中N為樣本總數(shù)（圖3左）。肌電信號特征采用時域、頻域及小波域像（圖3右），用于后續(xù)深度學(xué)習(xí)建模（圖4）。最后在網(wǎng)絡(luò)架構(gòu)上設(shè)計了三類模型，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、結(jié)合時間序列建模的CNN-LSTM，以及進(jìn)一步加入注意力機(jī)制的CNN-LSTM-Attention。通過數(shù)據(jù)維度、信號特征和網(wǎng)絡(luò)架構(gòu)對這三方面因素的排列組合，共構(gòu)建了18種深度學(xué)習(xí)模型（M1-M18），結(jié)合模型投票和貝葉斯融合兩種后處理方法（M19、M20）對頻域模型的輸出進(jìn)行二次優(yōu)化，并在被試內(nèi)測試與跨被試遷移學(xué)習(xí)兩類實(shí)驗(yàn)場景下進(jìn)行驗(yàn)證，18種深度學(xué)習(xí)模型如表II所示。

高密度肌電設(shè)備示例

圖3. 左圖為1D和2D sEMG頻域圖像的可視化；右圖為對手開(HC)合(HO)運(yùn)動在時、頻和小波域的2D sEMG圖像進(jìn)行可視化

圖4. 基于sEMG的腦卒中后手勢識別中DL技術(shù)的研究框架

表2. 18個不同網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度和特征域的深度學(xué)習(xí)模型詳細(xì)信息

實(shí)驗(yàn)結(jié)果顯示，不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡(luò)架構(gòu)在識別性能上存在顯著差異。在被試內(nèi)實(shí)驗(yàn)中（圖5），二維頻域特征結(jié)合CNN-LSTM模型(對應(yīng)M11)表現(xiàn)佳（圖5d），平均識別準(zhǔn)確率達(dá)到72.95%，部分患者的高結(jié)果超過85%（圖5b）。相比之下，單純采用時域或小波域特征的模型準(zhǔn)確率顯著降低，多數(shù)不足65%，且差異具有統(tǒng)計學(xué)意義（P < 0.01）。這一結(jié)果表明，頻域特征能夠更穩(wěn)定地刻畫卒中患者殘余肌肉信號中的可區(qū)分信息，而CNN-LSTM的時序建模優(yōu)勢，則幫助系統(tǒng)更好地識別動作過程中的動態(tài)變化。在跨被試遷移學(xué)習(xí)中（圖6a），結(jié)合一維頻域特征的CNN-LSTM-Attention 模型（對應(yīng)M14）表現(xiàn)優(yōu)，平均準(zhǔn)確率為68.38%。進(jìn)一步的實(shí)驗(yàn)分析發(fā)現(xiàn)，隨著遷移率的增加（10%、20%、30%），模型識別率逐步提升，說明少量個性化訓(xùn)練樣本即可顯著改善跨人群的自適應(yīng)性（圖7）。例如，在遷移率為10%時，準(zhǔn)確率可提升6–8個百分點(diǎn)；而在30%時，提升幅度趨于平緩，提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。

圖5. 被試內(nèi)測試的手勢識別結(jié)果。(a)展示了18個DL模型在不同被試之間的被試內(nèi)測試中的表現(xiàn)；(b)表示DL模型在每個受試者中的平均準(zhǔn)確率；(c)顯示了DL模型在每個受試者中的大測試精度；(d)比較所有被試在每個DL模型中的平均正確率；(e)比較了18個深度學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平

圖6. 被試間遷移學(xué)習(xí)的手勢識別結(jié)果。(a) DL模型中剩余7名被試進(jìn)行被試間遷移學(xué)習(xí)的平均正確率。(b)比較了18個遷移學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平

圖7. 不同遷移率的測試準(zhǔn)確率(圖(a)-(h)是基于S1-S8為輪循數(shù)據(jù)集時，以其余受試者為測試集，所有模型在不同遷移率下的平均測試準(zhǔn)確率的比較，圖中紅色虛線為其余7名受試者的總平均準(zhǔn)確率

圖8. 深度學(xué)習(xí)模型在有/沒有后處理的被試間遷移學(xué)習(xí)實(shí)驗(yàn)中的平均正確率

上述現(xiàn)象在神經(jīng)肌肉機(jī)制層面上具有明確解釋。卒中患者的運(yùn)動神經(jīng)通路受損，導(dǎo)致部分肌肉群失去精細(xì)化控制，動作信號表現(xiàn)為幅度減弱、時序紊亂和空間分布不均。頻域特征能夠捕捉肌肉殘余激活信號中的譜能量分布模式，從而放大不同手勢之間的差異；而LSTM及注意力機(jī)制則進(jìn)一步利用時間依賴和特征選擇，幫助模型識別動作中的關(guān)鍵信息。相比之下，單純依賴時域特征的模型在噪聲和個體差異干擾下更容易失效。

隨著人工智能與康復(fù)醫(yī)學(xué)的不斷融合，基于肌電信號的卒中手勢識別正逐漸從實(shí)驗(yàn)室走向臨床與家庭。本研究通過對特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡(luò)設(shè)計的系統(tǒng)探索，驗(yàn)證了頻域特征結(jié)合深度學(xué)習(xí)模型在卒中后肌電解碼中的突出優(yōu)勢，并展示了CNN-LSTM及注意力機(jī)制在捕捉殘余神經(jīng)信號方面的巨大潛力。與此同時，模型投票等后處理策略進(jìn)一步提升了識別的穩(wěn)定性與魯棒性，為未來智能康復(fù)系統(tǒng)的實(shí)際應(yīng)用奠定了堅實(shí)基礎(chǔ)。從更廣闊的視角來看，這一研究不僅僅是對算法性能的比較，更為康復(fù)機(jī)器人、遠(yuǎn)程健康監(jiān)測與家庭訓(xùn)練系統(tǒng)提供了技術(shù)路線。未來，隨著深度學(xué)習(xí)模型的進(jìn)一步優(yōu)化以及個性化遷移學(xué)習(xí)策略的*，系統(tǒng)有望實(shí)現(xiàn)“少量數(shù)據(jù)快速自適應(yīng)”，讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準(zhǔn)的康復(fù)輔助。

原文鏈接

作者及單位

關(guān)于維拓啟創(chuàng)

相關(guān)產(chǎn)品