Hakurobotti ja robots.txt-tiedosto
Authors
Date
2023Copyright
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Tutkielmassani esitellään kuinka hakurobotti toimii ja mitkä ovat sen keskeisiä käyttötarkoituksia. Lisäksi tutkitaan hakurobottien toiminnan sääntelemiseen kehitettyä tämänhetkistä de facto-standardia: Robots Exclusion -protokollaa, sekä mitä haasteita hakurobottien epäeettisestä toiminnasta voi koitua sekä yksilöille että yhteiskunnalle. In my thesis we focus on the Web Crawler, how does it work and for what purposes are they used for. Additionally the de facto standard in the industry, the Robots Exclusion Protocol is presented. We also discuss what challenges does Web Crawler present to both individuals and for the society as whole.
Keywords
Metadata
Show full item recordCollections
- Kandidaatintutkielmat [5093]
Related items
Showing items with similar title or keywords.
-
Suosittelujärjestelmien vaikutus median kulutukseen ja mielipiteen muodostumiseen
Böger, Niiles (2019)Tassa tutkielmassa selvitetaan sita, miten hakukoneiden, sosiaalisen median ja muiden medioiden suosittelujarjestelmat vaikuttavat median kulutukseen ja mielipiteen muodostumiseen. Tutkielma toteutetaan kirjallisuuskatsauksena, ... -
Hakukoneoptimoinnin hyödyt uusasiakashankinnassa
Immonen, Sauli (2020)Hakukoneoptimointi yritysten verkkosivuilla on noussut 2000-luvulla yhdeksi keskeisimmistä keinoista saavuttaa näkyvyyttä digitaalisen markkinoinnin kentällä uusasiakashankinnassa. Aihetta on tutkittu suhteellisen vähän, ... -
Ulkoisen linkityksen vaikutus verkkotunnuksen hakukonesijoitukseen Googlessa
Ranta, Niilo (2021)Ulkoinen linkitys on ulkoisen hakukoneoptimoinnin osa-alue, jolla on vaikutusta verkkotunnuksen menestykseen Googlen hakutuloksissa. Hakukoneoptimointi eli SEO jaetaan tyypillisesti sisäiseen ja ulkoiseen optimointiin, ... -
Improving search engine results using different machine learning models and tools
Ambaye, Michael (2020)The aim of this thesis is to provide viable methods that can be used to improve the return position (RP) of a relevant document when a natural language query (NLQ) is applied by a user. For the purpose of demonstration, ... -
Review of search engine optimization techniques
Himmanen, Joonas (2022)Tämän tutkielman tarkoitus on saada ymmärrystä hakukoneoptimointiin ja sen eri tekniikkoihin. Koska on hyvin tärkeää tärkeää olla korkealla hakukoneiden kuten Googlen hakutuloksissa, nettisivut hyödyntävät erilaisia ...