Comparative analysis of data stream processing systems
Authors
Date
2020Copyright
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Big data-käsittelyjärjestelmät ovat tällä hetkellä kehittymässä stream-orientoituneiksi, eli data käsitellään heti saapuessaan. Perinteisemmin data säilöttiin tietokantaan, tiedostopohjaisesti tai muuhun tiedonsäilytysjärjestelmään, ja applikaatiot hakivat datan tarvittaessa. Stream-pohjainen järjestelmä käsittelee liikkuvaa dataa, jatkuva-aikaista dataa useasta lähteestä.
Sen sijaan, että haetaan ajoittain dataa, stream-pohjaiset frameworkit pystyvät käsittelemään dataa heti kun se on saatavilla, täten vähentäen viivettä. Tässä tutkielmassa tehdään komparatiivinen analyysi eri stream-pohjaisten frameworkien välillä, perustuen valittuihin ominaisuuksiin. Tutkittavat frameworkit ovat Apache Samza, Apache Flink, Apache Storm ja Apache Spark Structured Streaming. Tutkielmassa perehdytään myös Apache Kafkaan, joka on lokiperusteinen tietovarasto, jota laajalti käytetään stream-pohjaisissa frameworkeissa. Big data processing systems are evolving to be more stream oriented where data is processed continuously by processing it as soon as it arrives.
Earlier data was often stored in a database, a file system or other form of data storage system. Applications would query the data as needed. Stram processing is the processing of data in motion. It works on continuous data retrieved from different resources. Instead of periodically collecting huge static data, streaming frameworks process data as soon as it becomes available, hence reducing latency. This thesis aims to conduct a comparative analysis of different streaming processors based on selected features. Research focuses on Apache Samza, Apache Flink, Apache Storm and Apache Spark Structured Streaming. Also, this thesis explains Apache Kafka which is a log-based data storage widely used in streaming frameworks.
Keywords
Metadata
Show full item recordCollections
- Pro gradu -tutkielmat [29107]
Related items
Showing items with similar title or keywords.
-
Information Technology–Supported value Co-Creation and Co-Destruction via social interaction and resource integration in service systems
Li, Mengcheng; Tuunanen, Tuure (Elsevier BV, 2022)The paper develops a conceptual framework to study the constructs of information technology (IT)-supported value co-creation and co-destruction through shared processes of social interaction and resource integration as ... -
The determinants affecting on the investment proposals adoption
Hirvonen, Pauliina (2016)Tietoturvallisuuden tutkimuksessa ei ole kyetty tunnistamaan tekijöitä, jotka vaikuttavat tietoturvallisuusaloitteiden onnistumiseen. Teoreettinen tutkimus lähestyy haastetta tarkastelemalla olemassa olevia tietotekniikan ... -
The use of Electronic Information Systems in social work : A scoping review of the empirical articles published between 2000 and 2019
Ylönen, Katri (Routledge, 2023)Sähköisiä tietojärjestelmiä käytetään laajasti sosiaalityössä, mutta empiirisiä tutkimustuloksia niiden käytöstä ei ole vielä analysoitu ja levitetty. Tässä kartoittavassa kirjallisuuskatsauksessa tarkasteltiin vuosien ... -
Features of System-Information Models of the Mechanical Process Based on the Platform (USIS + PLSI) of Digital Twins
Korablyov, Mykola; Lutskyy, Sergey; Axak, Natalia; Ivanisenko, Ihor; Kobzev, Igor (RWTH Aachen, 2023)The features of system information models are considered based on the formalization of the uncertainty of system information of parameters of the cutting process based on the platform of the single information space USIS ... -
Interdisciplinary perceptions on comparing systems analysis and design to the practices of digital service design
Ollila, Markus (2022)Tässä Pro gradu -tutkielmassa syvennytään tunnistamaan yhteneväisyyksiä tietojärjestelmäkehityksen järjestelmäanalyysin ja suunnitteluvaiheiden (System Analysis & Design), sekä digitaalisen palvelumuotoilun (Digital Service ...