Automatic detection of driver's abnormal state based on physiological signals

Abstract

Kuljettajan epänormaali tila, joka vaikuttaa hänen ympäristönsä havainnointiin, päätöksentekoon ja toimintaan, on yksi suurimmista liikenneonnettomuuksien syistä. Fysiologisia signaaleja, jotka heijastavat kuljettajan sisäistä tilaa, käytetään poikkeavuuksien havaitsemiseen. Aika- ja taajuusalueen piirteitä käytetään yleisesti kuljettajan tilan tutkimiseen, mutta ne ovat herkkiä jälkiäänelle eivätkä erota signaalien monimutkaisuutta. Lisäksi korkea ajallinen resoluutio on tarpeen kuljettajan tilan muutoksen havaitsemiseksi ja analysoimiseksi tiettynä aikana, mutta se lisää näkörataa ja saattaa vähentää laskennallista tehokkuutta. Pitkäkestoisen ajon aikana pitkäaikainen ajallinen riippuvuus on myös elintärkeää kuljettajan poikkeavan tilan automaattiselle havaitsemiselle. Näköradan optimointiin liittyy kuitenkin vaikeuksia, kun otetaan huomioon fysiologisten signaalien aikavaativuus ja automaattinen kuljettajan poikkeavan tilan havaitseminen suhteessa pitkän aikavälin kontekstitietoon. Tämä väitöskirja keskittyy edellä mainittuihin haasteisiin ja ehdottaa kuljettajan poikkeavan tilan havaitsemista fysiologisten signaalien moniskaalaentropian ja kaksisuuntaisen pitkäaikaisen lyhyen aikavälin muistin verkoston avulla. Artikkeli I tutkii elektroenkefalografian (EEG) moniskaalaentropian avulla suhteellisia aikaskaaloja käyttäen aivojen monimutkaisuutta ja informaatiokorvaustapaa ominaisuuksien välillä häiriön havaitsemiseksi. Artikkeli II tutkii moniskaalaentropian vaihtelumalleja ja ottaa huomioon pitkäaikaisen riippuvuuden ominaisuuksissa kaksisuuntaisen pitkäaikaisen lyhyen aikavälin muistin avulla häiriön havaitsemiseksi. Artikkeli III tutkii sopivaa näkörataa laskemalla moniskaalaentropiaa absoluuttisilla aikaskaaloilla ja häiriötietoa useissa fysiologisissa signaaleissa häiriön havaitsemiseksi. Artikkelit II ja III analysoivat myös käyttäytymis-signaaleja varmistaakseen häiriön aiheuttamat muutokset ajosuorituksessa. Artikkelissa IV esitetään monitieteellinen tunteidentunnistuskehys, joka perustuu sulautettuihin entropioihin ja kaksisuuntaiseen pitkäaikaiseen lyhyen aikavälin muistiin, jotta voidaan integroida eri piirteiden edut ja oppia EEG:n kontekstitietoa.

Abnormal driver state affecting environment perception, decision-making, and actions is one of the main traffic accidents causes. Physiological signals, reflecting drivers’ actual internal state, have been used to detect abnormal status. Time and frequency domain features are commonly adopted to study driver state, while they are sensitive to residual noise and neglect signals’ complexity. Besides, high temporal resolution is necessary to detect and analyze the subtle changes in driver status timely at a certain time but increases the sample rate and may decrease the computational efficiency. In long-term driving operations, the long-term temporal dependency is also vital for the automatic detection of the diver’s abnormal state. However, difficulties exist in optimizing sample rate considering the time complexity of physiological signals and detecting abnormal driver status automatically with respect to long-term context information. This dissertation focuses on the above challenges and proposes to detect the driver’s abnormal state with multiscale entropy of physiological signals and bidirectional long short-term memory (BiLSTM) network. Article I explores the complexity of electroencephalography (EEG) with multiscale entropy on relative time scales (MSE) and the information compensation manner among features in detecting distraction. Article II investigates the fluctuation patterns of MSE and considers the long-term dependency on features with BiLSTM for distraction detection. Article III studies the appropriate sample rate by calculating multiscale entropy on absolute time scales (MSaE) and explores the distraction information in multiple physiological signals to detect distraction. Articles II and III also analyze the behavioral signals to validate the changes in driving performance due to distraction. In Article IV, a cross-subject emotion recognition framework based on fused entropy features and BiLSTM is proposed to integrate the merits of different features and learn the contextual information in EEG. In summary, this dissertation investigates the fluctuation patterns of physiological signals with multiscale entropy of the optimized sample rate under different mental statuses to detect abnormal states with BiLSTM. The proposed framework indicates the potential of understanding and detecting a driver’s abnormal state with multiple signals.