Lokien lajittelu koneoppivien menetelmien avulla

Abstract

Poikkeamantunnistus ja tietoturvapoikkeamien hallinta perustuu järjestelmistä kerättävään tapahtuma- ja lokitietoon. Tietojärjestelmien kasvava käyttö ja monimutkaisuus kasvattaa samalla kertyvää lokia ja sen keräämiseen, järjestelyyn ja analysointiin tarvitaan uusia menetelmiä. Tutkimuksessa analysoitiin lokien käyttökohteita ja pyrittiin löytämään keinoja hyödyntää koneoppivia järjestelmiä lokien järjestämiseksi suunnittelututkimuksen menetelmin. Pyrkimyksenä oli löytää menetelmät ja työkalut, joiden avulla monimuotoisista lokilähteistä kertyvät erimuotoiset lokimerkinnät voidaan ryhmitellä samaan tapahtumaan liittyviksi joukoiksi ennen poikkeamantunnistusta ja sen hallintaa. Tutkimuksessa havaittiin, että tietosuojasäännösten vaatima loki, tietojärjestelmien ylläpidossa käytetty loki ja poikkeamantunnistuksessa seurattu loki asettavat kukin omat vaatimuksensa lokien käsittelyssä käytetylle järjestelmälle. Tietoturvan seurannassa lokimerkintöjä voidaan käsitellä alkiojoukkoina, joiden analysoinnissa tiedonlouhintamenetelmät erityisesti Frequent Pattern Mining ja Frequent Pattern Tree ovat käyttökelpoisia lokimassan toistuvien rakenteiden tunnistamisessa, jotka voidaan syöttää koneoppiville järjestelmille tietoturvapoikkeamien tunnistamiseksi. Lokien keräykseen, esikäsittelyyn ja varastointiin voidaan hyödyntää samoja laskentaresursseja hajautetun tietoaltaan muodossa, joka tarjoaa skaalautuvan ja kustannustehokkaan ratkaisun suurien datamassojen käsittelyyn

Anomaly detection and Security Incident Management is done with event and log data gathered from systems. Constantly growing size, use and complexity in information systems grows the amount of logs formed and new methods are needed to gather, index and analyze them. This study analyzes the log use cases and attempts to find ways to utilize machine learning in log indexing using the design study method. Target was to find methods and tools to group hetereogenerous log entries from different systems by event for anomaly detection and incident management purposes. It was found that audit logs required by regulations, security logs used for Information Security Management and event logs used for system maintenance set different demands for log management system. It was found that log entries can be considered as group of items and therefore analyzed using data mining methods. Frequent Pattern Mining and Frequent Pattern Tree were found useful in identifying recurring pat-terns in logs. Frequent patterns can be subsequently used as an input for machine learning systems to identify security incidents. Distributed datalake was found practical in gathering, preprocessing and mining logs in large masses.