Staattinen analyysi ohjelmakoodin automaattisessa arvioinnissa

Abstract

Tämän pro gradu -tutkielman tavoitteena oli kehittää toimiva konsepti MOOC-ohjelmointikurssien automaattiselle arvioinnille. Tutkielman ajurina toimi tutkimuskysymys: ''Millaisella konseptilla voidaan toteuttaa C++-lähdekoodin automaattinen arviointi?''. Tutkimusmenetelmänä toimi kehittämistutkimuksen ja ketterän Scrum-mallin yhdistelmä, jolla pyrittiin varmistamaan tutkimuksellinen ote ja ketterä sovelluskehitysmalli. Tutkimuksen ensimmäisessä vaiheessa kartoitettiin ongelma-analyysin avulla MOOC-kurssien ja automaattisen arvioinnin vahvuuksia sekä haasteita. Toisessa vaiheessa aloitettiin kehitystyö, joka päättyi käyttäjätestaukseen. Tulosten perusteella konsepti täytti sille asetetut vaatimukset, ja onnistuttiin ratkaisemaan testitapausten laadintaan ja on/off-tyyppisen arvioinnin haasteet menettämättä automaattisen arvioinnin vahvuuksia.

The purpose of this master thesis was develop a workable concept for automated assessment for MOOC programming courses. Thesis research work is driven by the question: ''What kind of concept can be used to implement automated assessment in C++ source code?''. The research method was a combination of design research and Scrum development model, with the aim of ensuring a research approach and agile application development model. In the first phase of study, the strengths and challenges of MOOC courses and automatic assessment were survey using problem analysis. In the second phase, development started and it ended with user testing. The results showed that the concept met requirement specifications and we were able to solve challenges of making test cases and on/off-type assessment without losing the strength of automated assessment.