Automated analysis of musculoskeletal ultrasound images using deep learning

Abstract

Ultraääntä käytetään paljon tuki- ja liikuntaelimistön kudosten kuvaamiseen, etuina ollen matalat kustannukset, siirrettävyys sekä ei-invasiivisuus. Ultraäänikuvien analysointi vaatii edelleen kehitystä. Viime aikoihin saakka kaikki analyysit on tehty manuaalisesti, mikä on hyvin subjektiivista ja aikaa vievää. Tällä hetkellä on olemassa muutamia tähän tarkoitukseen suunniteltu-ja avoimen lähdekoodin menetelmiä. Tämänhetkiset lähestymistavat perustuvat yleensä sääntöpohjaisiin analyyseihin. Useat niistä tekevät virheitä, jos analysoitavissa kuvissa on suuria poikkeamia menetelmän kehityksessä käytettyihin kuviin verrattuna. Viime vuosina syväoppimisen käyttäminen lääketieteellisissä kuva-analyyseissä on tuottanut erinomaisia segmentointituloksia eri kuvantamistavoilla, mutta useimpia niistä ei ole vielä sovellettu laajemmin tuki- ja liikuntaelimistön ultraäänikuviin. Tässä tutkielmassa esit-telen syväoppimiseen perustuvan automatisoidun menetelmän, joka laskee lihasten rakenteeseen liittyviä parametreja ultraäänikuvista ja videoista. Tämä menetelmä perustuu U-net arkkitehtuuriin, ja mallit on opetettu käsin merkityillä lihassolukimppujen ja aponeuroosien kuvilla. Näiden opetettujen mallien avulla tehtiin pikselitasoinen semanttinen segmentointi uusille kuville luokittelemalla jokainen pikseli yhteen kolmesta mahdollisesta luokasta (lihassolukimppu, aponeuroosi, muu). Tuloksia verrattiin kahden eri tutkijan tekemiin manuaalisiin analyyseihin sekä olemassa olevaan puoliautomaattiseen menetelmään. Kehitetty menetelmä suoriutui yleisesti hyvin verrattuna manuaaliseen ja puoliautomaattiseen analyysiin, ja toimi vakaasti eri ultraäänilaitteilla ja asetuksilla otetuilla kuvilla. Menetelmä kykeni myös havaitsemaan monia lihassolukimppuja samassa kuvassa. Esitelty lähestymistapa tarjoaa objektiivisen, aikaa säästävän menetelmän ultraäänikuvien segmentointiin ilman käyttäjän syötettä. Menetelmä ja kaikki merkitty data ovat saatavilla avoimen lähdekoodin lisenssillä, mahdollistaen toisten hyödyntää ja laajentaa tätä työtä.

Ultrasound is widely used to image musculoskeletal tissues, and offers many benefits including low cost, portability, and non-invasiveness. However, the analysis of ultrasound images remains an area in need of development. Until very recently, all analyses were performed manually, which is very subjective and time-consuming. There are currently very few open source methods designed for this purpose. Current approaches also tend to rely on rules-based analyses, and such methods tend to fail if images exhibit large deviations from those that were used to develop the method. In recent years, deep learning approaches to medical image analysis have been shown to yield excellent segmentation results on various imaging modalities, but such approaches have not yet been broadly applied to musculoskeletal ultrasound images. In this thesis I present a deep learning-based automated method that computes muscle architectural parameters from ultrasound images and videos. The method is based on the U-net architecture, and models were trained using hand-labelled images of muscle fascicles and aponeuroses. These trained models were then used to perform pixel-wise semantic segmentation of new images, classifying each pixel as one of three possible classes (fascicle, aponeurosis, other). The results were compared to manual analysis performed by two independent researchers, as well as to an existing semi-automated method. In general, the method performed very favourably when compared to manual and semi-automated analysis, and was robust to images from different muscles and those obtained with different ultrasound systems and settings. The method is also able to detect multiple muscle fascicles in a given image. The approach presented here offers an objective, time-efficient method of segmenting ultrasound images that does not require any user input. The method and all labelled training data are available under an open source license, allowing others to use and extend this work.