Tiedonlouhinta rakenteisista dokumenteista

Abstract

Tutkielman kokonaistavoite on vastata tietotulvan tuomiin haasteisiin tiedonlouhinnan tekniikoita käyttäen. Yleisenä tutkimuskohteena on tiedonlouhinta rakenteisista dokumenteista. Täsmällisemmin määriteltynä tutkimusongelma käsittää samaa skeemaa noudattavien XML-dokumenttien klusteroinnin ja tiedonhaun. Lisäksi käsitellään erilaisten haku- ja klusterointitekniikoiden yhdistämisen tuomia mahdollisuuksia dokumenttikokoelmien hahmottamisessa. Teoreettisessa osuudessa käydään läpi erilaisia indeksirakenteita, samanlaisuusmittoja, klusterointialgoritmeja ja hakumenetelmiä. Empiirisessä osuudessa on kehitetty ExtMiner-sovellus, joka tukee hakua, klusterointia ja visualisointia erilaisille XML-dokumenttikokoelmille.

The overall objective of this thesis is to consider the challenges posed by information overflow using data mining techniques. The research concentrates on data mining from structured documents. More precisely, the research problem involves information retrieval and clustering from XML documents conforming to the same schema. The potential of combining various search and clustering techniques in order to comprehend document collections is considered. Various index structures, similarity measures, clustering algorithms and ranking techniques are reviewed in the theoretical part of this thesis. In the empirical part the ExtMiner-application is developed, supporting searching, clustering and visualization for various XML document collections.