Towards a meta-method for the engineering of situational evaluation methods for domain-specific modeling tools

Abstract

Sovellusaluemallinnus (Domain-Specific Modeling, DSM) on eräs ohjelmistotuotannon lähestymistavoista, jossa sovelluskehityksen abstraktiotasoa nostetaan ohjelmoinnista sovellusaluekeskeiseen mallinnukseen. DSM mahdollistaa sovelluskehityksen automatisoinnin erityisesti kapeilla ja vakiintuneilla sovellusalueilla, joiden käsitteet, säännöt ja merkitykset soveltuvat DSM-kielten konstruktioiksi. DSM-välineet tarjoavat työkaluja DSM-kielten määrittelyyn ja käyttöön sekä sovellusmallien transformaatioihin. Teollisuudessa DSM-välineiden arviointeja tehdään tyypillisesti välinehankintojen valmistelun yhteydessä. Arviointeja suoritetaan myös tieteellisen tutkimuksen näkökulmasta. Arviointitulosten validiteetin varmistamiseksi DSM-välineiden arviointimenetelmän tulee ottaa huomioon arvioinnin tilannekohtainen konteksti sekä sen monitieteiset dimensiot. Kirjallisuudessa esitetään hyvin rajoitetusti menetelmiä DSM-välineiden tilannekohtaiseen arviointiin. Tämän tutkimuksen ensisijaisena tavoitteena on selvittää, miten DSM-välineiden arviointimenetelmien kehitystä tilannekohtaisessa kontekstissa voidaan tukea menetelmällisesti. Menetelmätuen käytännön tarve todettiin teollisuusalan yritykselle suoritetun tapaustutkimuksen yhteydessä. Tutkimus esittää ratkaisun lähtökohdaksi tilannekohtaisen menetelmäkehityksen (Situational Method Engineering, SME) periaatteiden soveltamista DSM-välineiden arviointiin. Tutkimusviitekehyksenä käytettiin suunnittelutieteellistä lähestymistapaa, jonka mukaisesti on muodostettu ja arvioitu kaksi artefaktia: 1) DSM-välineiden arviointikriteerien tarkistuslista, ja 2) lähtökohtamenetelmä DSM-välineiden arviointimenetelmien tilannekohtaiseen kehitykseen. Tarkistuslista on suunniteltu arvioijien praktiseksi ohjesäännöksi DSM-välineiden arviointikriteeristöjen tilannekohtaiseen muodostamiseen sekä arviointitulosten yhteismitallisuuden edistämiseen. Käsitteellinen lähtökohtamenetelmä on suunniteltu menetelmäkehittäjien käyttöön, erityisesti DSM-välineiden tilannekohtaisten arviointimenetelmien kehitykseen. Tutkimuksen pääkontribuutio on esitettyjen artefaktien pohjalta muodostettu nk. suunnitteluteoria eli Metamenetelmä DSM-välineiden tilannekohtaisten arviointimenetelmien kehitykseen. Metamenetelmä arvioitiin käsitteellisesti ja empiirisesti. Metamenetelmän varmentamiseen ja kehittämiseen tarvitaan jatkotutkimusta.

Domain-Specific Modeling (DSM) is an approach to Information Systems Development (ISD) in which the abstraction level of development is raised from the solution domain to the problem domain. DSM enables the automation of ISD, particularly in narrow and well-established domains, in which the domain concepts, rules and semantics can be meaningfully specified as constructs of DSM languages. DSM tools provide facilities for DSM language specification and application as well as model transformation. DSM tools are typically evaluated by the industry for the justification of tool acquisitions. DSM tools are also evaluated for research purposes. In order to assure the validity of the results, an evaluation method must address the situational context of the evaluation as well as its multi-disciplinary dimensions. The current literature provides very limited support for the engineering of situational evaluation methods for DSM tools. The primary objective of the study is to investigate how to methodically support the engineering of situational evaluation methods for DSM tools. A practical need for the method support was identified in a case study, in which DSM tools were evaluated in an industrial context. The premise of the study suggests that the application of Situational Method Engineering (SME) principles to the evaluation of DSM tools would provide a potential solution. The Design Science Research (DSR) approach was applied as the research framework for the study. Two artifacts were designed and evaluated, according to the principles of DSR: 1) an evaluation criteria checklist for DSM tools, and 2) a baseline method for the engineering of situational evaluation methods for DSM tools. The checklist is designed for evaluators, to be used as a practical guideline in the situational formulation of the evaluation criteria for DSM tools. The application of the checklist also promotes the commensuration of the evaluation results. The conceptual baseline method is designed to be instantiated by method engineers in the engineering of situational evaluation methods for DSM tools. The main contribution of the study is a design theory or a Meta-Method for the engineering of situational evaluation methods for DSM tools. Meta-Method is conceptually and empirically evaluated. Future research is required to confirm the findings and further elaborate Meta-Method.