Data Privacy in the age of LLM-based services in Education: Current Challenges, Improvement Guidelines and Future Directions

Abstract

The research objective of this Master's Thesis is to clarify what kind of privacy and data protection challenges and development practices for improving them are seen now and in the future while generative AI is utilized in the education sector in Finland. Based on the earlier research and studies alongside this study's interview data, a growing concern exists about how much sensitive personal information LLM-based applications and services collect and for what purposes these data are eventually used. It also remains to be seen to what extent the current legislation can address the issues concerning collecting and processing personal data in the context of rapidly developing AI technology. This thesis aims to answer the research question: What guidelines and practices exist for enhancing individuals' privacy and data protection as using LLM-based applications becomes more common in the educational sector? Alongside the results from earlier research literature, the empirical research data was collected through semi-structured interviews utilizing qualitative content analysis as a research theory in this study. Based on the results of earlier studies, several themes were recognized that supported the results of the interviews. In addition, new themes were brought up from the interview data. Concerns related to sufficient data protection in the context of generative AI are realistic. The results of this study offer practices and guidelines to improve individuals' privacy and data protection in the educational sector. It is necessary to highlight the importance of continuous education for students and educators and implement practices and guidelines to enhance the responsible use of generative AI. AI developer organizations may focus on safeguarding users' personal data throughout service development, starting from designing and developing their services to comply with data protection legislation. Since generative AI will keep developing, its impacts on data privacy and protection will also be significant in the future. Therefore, the development of data protection regulation may be essential to tackle the privacy challenges AI poses.

Keywords: data privacy, data protection, artificial intelligence (AI), generative AI in education, large language models (LLMs), ChatGPT, Microsoft Copilot

Tämän pro gradu -tutkielman tutkimustavoitteena oli selvittää, millaisia tietosuojariskejä ja niihin liittyviä kehitysmahdollisuuksia nähdään nyt ja tulevaisuudessa, kun generatiivista tekoälyä hyödynnetään kasvavissa määrin koulutussektorilla Suomessa. Aiempien tutkimustulosten ja tämän tutkimuksen haastatteluaineiston perusteella herää huoli siitä, kuinka paljon eri arkaluonteista henkilötietoa laajoihin kielimalleihin (LLM) pohjautuvat sovellukset ja palvelut keräävät ja mihin tarkoituksiin näitä tietoja lopulta käytetään. Lisäksi on epäselvää, missä määrin nykyinen lainsäädäntö pystyy vastaamaan henkilötietojen keräämiseen ja käsittelyyn liittyviin haasteisiin generatiivisen tekoälyn kontekstissa. Tämä tutkielma pyrkii vastaamaan seuraavaan tutkimuskysymykseen: mitkä ovat ne ohjeistukset ja käytännöt käyttäjien yksityisyyden ja tietosuojan parantamiseksi, kun laajoihin kielimalleihin pohjautuvien sovellusten ja palveluiden käyttö koulutussektorilla yleistyy tulevaisuudessa? Empiirinen tutkimusaineisto kerättiin puolistrukturoiduilla haastatteluilla, hyödyntäen tutkimusmenetelmänä laadullista sisällönanalyysiä. Aiempien tutkimusten ja niiden tulosten pohjalta tunnistettiin teemoja, jotka tukivat haastattelujen tuloksia. Näiden lisäksi haastatteluaineistosta nousi esiin uusia teemoja. Yhteenvetona voidaan todeta, että huolenaiheet käyttäjien riittävästä yksityisyyden suojasta generatiivisen tekoälyn kontekstissa on realistinen. Ratkaisuna tähän, tämän tutkimuksen tulokset tarjoavat käytäntöjä ja ohjeita henkilöiden yksityisyyden ja tietosuojan parantamiseen koulutussektorilla. Opiskelijoiden ja opetushenkilökunnan jatkuva koulutus sekä päivitettyjen ohjeiden ja käytäntöjen jalkauttaminen osaltaan edistävät tekoälyn vastuullista käyttöä. Tekoälyn kehittäjäorganisaatioiden tulisi vastata käyttäjien henkilötietojen suojaamisesta koko kehitysprosessin ajan alkaen siitä, että palvelun suunnittelu ja kehitys toteutetaan tietosuojalainsäädännön mukaisesti. Tekoälyn laajentuessa ja kehittyessä sen vaikutukset henkilötietosuojaan ovat jatkossakin merkittäviä, joten tietosuojasääntelyn kehitys voi olla olennaista, jotta voidaan vastata tekoälyn tuomiin tietosuoja haasteisiin.

Avainsanat: tietosuoja, henkilötietojen suoja, tekoäly, generatiivinen tekoäly koulutuksessa, suuret kielimallit (LLM), ChatGPT, Microsoft Copilot