Measuring the technical performance of a security operations center

Abstract

Tutkimuksessa selvitetään tietoturvavalvomon (engl. Security Operations Center, SOC) suorituskykyindikaattoreiden tämän hetkistä kyvykkyyttä mitata tietoturvavalvomon teknistä suorituskykyä. Empiirisen kokemuksen perusteella voidaan todeta, että tällä hetkellä yleisesti käytössä olevat menetelmät eivät ole riittäviä erilaisien tietoturvavalvomoiden teknisen suorituskyvyn mittaamiseen. Teknisten suorituskykyindikaattoreiden puute aiheuttaa sen, että tietoturvavalvomoiden teknistä suorituskykyä on hankala mitata, jonka seurauksena tietoturvavalvomon käytännön vaikutusta organisaation kyberpuolustuskyvykkyydelle on hankala määrittää.

Tutkimuksessa käytetty tutkimusmenetelmä on suunnittelutiede, joka tuottaa iteratiivisen prosessin lopputuloksena artefaktin. Työn tuloksena syntynyt artefakti on uudenlainen menetelmä, suorituskykyindikaattoreiden valintakehys, jonka avulla voidaan luoda teknisiä sekä epäteknisiä suorituskykyindikaattoreita. Luotuja suorituskykyindikaattoreita voidaan käyttää hyväksi tietoturvavalvomon suorituskyvyn mittaamisessa. Artefakti esiteltiin onnistuneesti luomalla viisi metriikkaa, joita voi sellaisenaan käyttää tietoturvavalvomoiden teknisen suorituskyvyn mittaamisen parantamiseen uhkien havainnointikyvykkyyden saralla.

Tutkimuksen aikana suoritettu kirjallisuuskatsaus tukee alkuperäistä hypoteesiä, sillä kirjallisuudessa useimmiten mainitut metriikat mittaavat pääasiallisesti tietoturvavalvomon operatiivisia toimia. Tämän lisäksi tutkimuksessa päädyttiin johtopäätökseen, jonka perusteella nykyiset menetelmät suorituskykyindikaattoreiden luomiseen ja olevassa olevat suorituskykyindikaattorit eivät ole riittäviä teknisen suorituskyvyn mittaamiseen. Kirjallisuudessa mainitut tekniset suorituskykyindikaattorit osoittautuivat epäpäteviksi valintakehyksellä arvioitaessa. Artefakti ja sen esittelyyn luodut mittarit mahdollistavat tietoturvavalvomoille suorituskykyindikaattoreiden luomisen sekä teknisen suorituskyvyn mittaamisen parantamisen artefaktin esittelyssä käytetyillä metriikoilla. Tästä huolimatta, aihepiiri vaatii tarkempaa tieteellistä tarkastelua, jonka pohjalta voidaan luoda kattava alan standardi tietoturvavalvomoiden teknisen suorituskyvyn mittaamiseen.

This research examines the current state of the performance indicators and other metrics used to measure the technical performance of a Security Operations Center (SOC), as based on empirical experience, the current methods for measuring the technical performance of different types of SOCs are inadequate. Without properly constructed performance indicators or metrics, it is difficult to evaluate the actual performance of a SOC, which makes it difficult to assess the concrete impact a SOC has in terms of overall cyber defence capabilities.

Design Science methodology is used as the research methodology in this research. The outcome of the research is a design science artifact, a novelty metric selection framework, that can be used to construct metrics to measure the technical and non-technical performance of a SOC. The design science artifact was successfully demonstrated by constructing five metrics that can be, as such, adopted by different types of SOCs to improve the technical performance measurement capabilities of their threat detection capabilities.

The original hypothesis is supported by the literature reviewed within the research, as the commonly mentioned metrics revolved mostly around operational activities. Furthermore, the research concluded that the current methodologies to construct metrics and the commonly deployed metrics are inadequate to measure the technical performance of a SOC. The literature outlined a limited amount of technical performance metrics, but the ones evaluated, were considered to be invalid according to the metric selection framework.

The design science artifact and the metrics utilized to demonstrate the metric provide means for SOCs to construct metrics and measure their technical performance, but further research around the subject is required to enable comprehensive industry-standard measurement capabilities to emerge.