Konvoluutioneuroverkko metallimusiikkia sisältävän polyfonisen ääniraidan rumpuiskutapahtumien havaitsemisessa

Abstract

Tässä tutkielmassa tutkittiin automaattista rumputranskriptiota käyttäen konvoluutioneuroverkkoa iskutapahtumien havaitsemiseen ja transkriptioon ääniraidasta, jossa on säröä sisältävää metallimusiikkia rumpujen seassa. Iskutapahtumien havaitseminen on perustavanlaatuinen ja tärkeä vaihe musiikkianalyysissä, kuten automaattisessa transkriptiossa ja rytmin tunnistamisessa. Automaattinen rumputranskriptio on nuotinnuksen tekemistä äänitetystä rumpujen soitosta, missä iskutapahtumien havaitsemista voidaan kuvailla prosessin ensimmäiseksi vaiheeksi. Rumpuiskutapahtumista pyrittiin havaitsemaan bassorumpua ja virveliä, jotka ovat hi-hatin lisäksi useimmiten valitut rumpuinstrumentit transkription haasteellisuuden vuoksi. Konvoluutioneuroverkoilla tehtynä transkription tulokset ovat tänä päivänä parhaita muihin menetelmiin verrattuna etenkin silloin, kun rumpuiskujen seassa on polyfonista musiikkia. Tutkimuksessa luotiin konvoluutioneuroverkkototeutus polyfonisten ääniraitojen rumpuiskutapahtumien havaitsemista varten. Menetelmän kehitysvaiheessa aineistona käytettiin ENST-rumputietokantaa, joka on vastaavissa tutkimuksissa laajasti käytetty rumpuaineisto. Menetelmän testaamisessa käytettiin ENST-rumputietokannan lisäksi Riddle Me This -yhtyeen studioäänityssessiosta saatuja ääniraitoja, joilla voitiin todentaa menetelmän toimivuutta metallimusiikissa. Tutkimuksen tuloksista selvisi, että virveli-iskutapahtumia saatiin havaittua paremmin aiempaan tutkimukseen verrattuna, ja bassorummun iskutapahtumia vain hieman paremmalla tarkkuudella. Menetelmä oli sovellettavissa myös metallimusiikkiaineistoon eroteltujen perkussiivisten elementtien ansiosta.

This paper examines automatic drum transcription using Convolutional Neural Networks (CNN) to detect drum onsets from polyphonic metal music. Onset detection is a fundamental task particularly in rhythm related musical analysis. It can be described as the first step in automatic drum transcription, where the aim is to produce an accurate notation of a musical composition. As the most common drum instruments used in onset detection, bass drum and snare drum were the target instruments applied in this paper. CNNs are said to produce the most prominent results obtained from transcription tasks particularly in the case where drum instruments are among polyphonic music. A method for detecting drum onsets from polyphonic music was implemented and evaluated as part of this thesis. The method is evaluated and trained using the publicly available ENST Drum database, allowing comparison with previous studies. The comparison shows that the developed method was able to detect snare drum onsets with better accuracy, and bass drum onsets with slightly improved accuracy compared to the previous method. The method is then evaluated in the metal music context using polyphonic tracks obtained from studio sessions by the metal band Riddle Me This. Applicability to the metal music dataset was also verified.