Deep learning in gait analysis : the effect of marker presence in neural network training to kinematic outcomes

Abstract

Ihmisen tuottaman liikkeen määrittämiseen käytetään yleensä optoelektronisia liikkeenkaappausjärjestelmiä, jotka perustuvat kohteen iholle kiinnitettävien valoa heijastavien markkerien seurantaan. Nämä laboratorio-olosuhteissa tarkat ja luotettavat järjestelmät ovat kuitenkin kalliita, mittaustapahtuman valmistelu vie reilusti aikaa, ja markkerit voivat estää kohteen luonnollisen liikkumisen. Konenäön kehittymisen myötä syväoppimiseen perustuvien menetelmien käyttö ihmisen asennon määrittelyssä on yleistynyt ja niiden on osoitettu olevan ihmisen kanssa yhtä tarkkoja merkitsemään avainkohtia kuviin. Aikaisemmissa tutkimuksissa suoritetuissa kinemaattisissa vertailuissa avainpisteet eivät ole olleet anatomisesti tarkkoja, biomekaaniset mallit ovat olleet erilaiset menetelmien välillä, eikä markkerien vaikutusta syväoppimismallien suorituskykyyn ole huomioitu. Tämän tutkimuksen tarkoituksena oli tutkia miten markkerien läsnäolo harjoitusnäytteissä vaikuttaa mallien suorituskykyyn, kun niitä sovelletaan 3D-liikeanalyysiin ja verrataan optoelektroniseen järjestelmään. 18 koehenkilöä käveli ja juoksi juoksumatolla eri vauhdeilla samalla, kun heidän liikkumistaan tallennettiin kahdella kahdeksankameraisella järjestelmällä: optoelektroninen Vicon-järjestelmä (300 Hz) ja GoPro-järjestelmä (60 Hz). Kaksi syväoppimismallia kehitettiin GoPro-järjestelmällä tallennettujen harjoitusnäytteiden perusteella siten, että toiseen käytettiin näytteitä, joissa markkerit olivat läsnä, ja toiseen näytteitä ilman markkereita. Kävely- ja juoksunäytteet analysoitiin molemmilla malleilla ja kinemaattisia tuloksia verrattiin tuloksiin Vicon-järjestelmästä. Lisäksi, Viconilla mitattujen kinemaattisten muuttujien toistettavuus samalla koehenkilöllä laskettiin, jotta yksilön askelten välinen vaihtelu voitiin määrittää. 3D-liikeanalyysi epäonnistui mallien heikon suorituskyvyn takia, mutta sagittaalitason 2D-liikeanalyysi voitiin suorittaa oikean jalan nilkalle ja polvelle. Markkerien läsnäololla ei ollut selkeää vaikutusta mallien suorituskykyyn. Mallien suorituskyky oli lähes yhtäläinen markkerien ollessa läsnä näytteissä, eikä kumpikaan kyennyt kelvollisesti analysoimaan näytteitä, joissa ei ollut markkereita. SPM-analyysi paljasti, että menetelmien välillä havaittiin yksi tilastollisesti merkitsevä joukko polvessa ja kahdeksan nilkassa. Toistettavuus oli suurimmassa osaa näytteitä riittävä kliinisiin mittauksiin (ICC > 0.9), mutta pisteittäinen analyysi osoitti toistettavuuden vaihtelevan askelsyklin aikana. On mahdollista, että syväoppimismalleja voidaan tulevaisuudessa käyttää 3D-liikeanalyysissä, jos olosuhteet ovat asianmukaiset. Tässä tutkimuksessa markkerien läsnäololla harjoitusnäytteissä ei ollut vaikutusta syväoppimismallien suorituskykyyn sovellettaessa 2D-liikeanalyysiin.

Accurate quantification of human movement is usually performed with optoelectronic motion capture systems inside a laboratory by tracking reflective markers on the subject. This is accurate and reliable method, but the markers and laboratory environment can restrict motion, the required equipment is expensive, and preparation of a subject takes time. With recent advances in computer vision, the use of deep learning -based methods for human pose estimation has increased and they’ve been shown to reach human-level labelling accuracies in 2D and 3D. Some studies have compared deep learning -based methods to optoelectronic systems for acquiring joint kinematics, but those studies haven’t implemented anatomically relevant keypoints or biomechanically valid kinematic models in their analyses. Neither is the effect of marker presence been studied in these settings. Thus, the purpose of this study was to investigate how the presence of markers in training data affects the predicting performance of a deep learning -based methods in 3D with proper kinematic model. 18 healthy subjects were recruited to walk and run on a treadmill at moderate speeds, while their gait was recorded simultaneously by two systems: an 8-camera Vicon motion capture system at 300 Hz, and an 8-camera GoPro system at 60 Hz. Two deep learning models were trained with data from GoPros, one with data where subjects wore markers, and the other with data where markers were removed. Trials with markers and without markers were analysed by both models and compared to data from Vicon. Additionally, the between-trial reliability of Vicon data was calculated to give insight into the amount of variability due to intraindividual differences in gait. The 3D analysis failed due to poor performance of the models in some camera views, but 2D analysis on the right ankle and knee could be performed. The marker presence in the training data didn’t clearly affect the performance of models, while performing similarly with data that had markers and failing to produce any results from the trials without markers. Also, when compared to data from Vicon, one supra-threshold cluster was found in the knee and eight in the ankle during SPM analyses. The between-trial reliability was most of the time reasonable for clinical measurements (ICC > 0.9), but pointwise analysis showed clear differences in reliability at different points of the gait cycle. There is promise for deep learning -based methods to be used in clinical gait analysis, if the conditions are appropriate. Additional training of the pretrained neural networks with markers present or absent from data didn’t seem to make a difference to the performance of the model.