Automaattisen verkkoharavoinnin menetelmät ja haasteet
Tekijät
Päivämäärä
2023Tekijänoikeudet
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
Verkkoharavointi on tekniikka, jota käyttämällä voidaan kerätä tietoa internetistä ohjelmallisesti ja sitä voidaan hyödyntää moniin tieteellisiin ja kaupallisiin tarkoituksiin. Verkkoharavointiohjelmat voivat kuitenkin kohdata monenlaisia haasteita, jotka saattavat pakottaa kehittäjän päivittämään haravointiohjelmaa toistuvasti. Kirjallisuuden perusteella käyttöliittymättömät selaimet ja koneoppimisalgoritmit tuottavat yhdessä parhaiten erilaisia haasteita sietävän ohjelman. Verkkoharavoinnin ala on altis nopeille muutoksille, mutta nykyisen kirjallisuuden perusteella koneoppimiseen perustuvissa algoritmeissa on kenties eniten tutkittavaa. Web scraping is a technique that can be used to gather information from the Internet programmatically and it can be used for many scientific and commercial purposes. However, web scrapers can face a variety of challenges that may force the developer to update the scraper repeatedly. Based on the literature, headless browsers and machine learning algorithms together produce the best scrapers that tolerates different challenges. The field of web scraping is prone to rapid changes, but based on the current literature, algorithms based on machine learning have perhaps the most research to do.
Metadata
Näytä kaikki kuvailutiedotKokoelmat
- Kandidaatintutkielmat [4988]
Samankaltainen aineisto
Näytetään aineistoja, joilla on samankaltainen nimeke tai asiasanat.
-
Digitaalisten pelien dialogien kehittäminen automaattisen tekstinluonnin avulla
Mäntysaari, Pekka (2022)Tämän kandidaatintutkielman tarkoitus oli selvittää voidaanko digitaalisten narratiivisten pelien dialogeja kehittää automaattisen tekstinluonnin avulla. Kirjallisuuskatsauksessa tarkasteltiin pelikehitykseen suunnattuja ... -
Automaattisen tekstinkorjauksen hyötyjä lukihäiriön näkökulmasta
Rantala, Ossi (2023)Työssä käydään läpi minkälaisia apuja on tarjolla koodaamiseen niille henkilöille, joilla on lukihäiriö. Tutkimuksessa huomataan, että ei ole vain yhtä apuohjelmistoja, jota voisi käyttää aina. Toisin sanoen niin sanottua ... -
Hakukoneoptimoinnin hyödyt uusasiakashankinnassa
Immonen, Sauli (2020)Hakukoneoptimointi yritysten verkkosivuilla on noussut 2000-luvulla yhdeksi keskeisimmistä keinoista saavuttaa näkyvyyttä digitaalisen markkinoinnin kentällä uusasiakashankinnassa. Aihetta on tutkittu suhteellisen vähän, ... -
WWW-sovellusten loogiset haavoittuvuudet
Lehtoniemi, Matti (2023)Tutkielman tavoitteena on luoda selkeä kuva siitä, mitä WWW-sovellusten loogiset haavoittuvuudet ovat teoreettisesti, miten ne ovat realisoituneet ja mitä niiden torjumiseksi voidaan tehdä. Taustalla on tarve ymmärryksen ... -
Luottamuksen luominen verkkosivuilla
Kangas, Maria (2021)Tämä tutkielma käsittelee luottamusta verkkosivuilla, siihen liittyviä haasteita ja keinoja luotettavan verkkosivun rakentamista varten. Tutkielmassa keskitytään luottamukseen, verkkosivuilla piileviin uhkiin ja sivujen ...
Ellei toisin mainittu, julkisesti saatavilla olevia JYX-metatietoja (poislukien tiivistelmät) saa vapaasti uudelleenkäyttää CC0-lisenssillä.