Selection of open-source web vulnerability scanner as testing tool in continuous software development

Abstract

Tietoturva on kriittinen osa web sovelluksia ja haavoittuvuudet tulisi ennaltaehkäistä tai tunnistaa sekä korjata mahdollisimman aikaisin ohjelmiston kehitysprosessissa. Tämän tutkimuksen tarkoitus on määrittää kuinka hyvin avoimen lähdekoodin web sovellusten haavoittuvuustestaustyökalut sopivat kaupallisen web sovelluksen testaukseen jatkuvassa ohjelmistokehitysprosessissa. Tarve tälle tutkimukselle tuli Secapp Oy yritykseltä. Arvioitavaksi valittiin kaksi avoimen lähdekoodin web haavoittuvuusskanneria, ZAP ja Wapiti. Nämä kaksi skanneria valittiin sen perusteella, että ne olivat ainoat viimeisimmistä tutkimuksista löytyneet avoimen lähdekoodin web haavoittuvuusskannerit, joissa oli komentorivi käyttöliittymä ja joita edelleen kehitettiin aktiivisesti. Kumpikin skanneri myötävaikutti kohteena olevan web sovelluksen tietoturvan parantamiseen. Kumpikaan skan- nereista ei tulosten perusteella sovellu integraatioputkessa ajettavaksi testiksi. Kumpaakin voidaan kuitenkin hyödyntää ajoittaisena automaattisena skannerina. ZAP tarjosi enemmän vaihtoehtoja mukauttaa skannausta, tärkeimpänä mahdollisuus luokitella skannauksen löydöksiä vääriksi positiviiksi ja kohdistaa skannaus vain ennalta määritettyyn listaan URL- osoitteita sen sijaan, että skanneri yrittäisi löytää niitä lisää. ZAP oli myös nopeampi, tarkempi löytämään oikeita haavoittuvuuksia, löysi enemmän eri haavoittuvuuksia ja oli parempi löytämään uusia sivuja crawler toiminnoillaan. Tulosten perusteella ZAP valittiin testaamaan kohteena oleva web sovellus pääversioiden julkaisujen välillä haavoittuvuuksien löytämiseksi.

Security is a critical part of web applications and vulnerabilities should be prevented or identified and fixed as early in the development process as possible. The purpose of this study is to determine how well open-source web vulnerability scanners suit for testing commercial web application in continuous software development. The need for this study came from Secapp Oy. Two open-source web vulnerability scanners, ZAP and Wapiti, were chosen to be evaluated. These two scanners were chosen because they were the only open-source web vulnerability scanners found from the latest studies that had command-line interface and were still in active development. Both scanners contributed to improving the security of the target web application. Neither of the scanners was so fast that it could be included in the integration pipeline as a test. Both scanners can be utilized as periodical automated scanner. ZAP offered more customization options for the scan, most importantly possibility to flag scan findings as false positive and skip crawling phase and only scan listed URLs. ZAP was also faster, more precise, found wider set of vulnerabilties and had better crawling coverage. Based on the results ZAP was chosen to scan the target web application in between the releases to test each major version for vulnerabilities.