Transformers for breast cancer classification

Abstract

Rintasyöpä on maailmanlaajuisesti naisten yleisin syöpä, sen varhainen havaitseminen voi merkittävästi vähentää siihen liittyvää kuolleisuutta. Histopatologista analyysiä tarvitaan kasvainten laadun määrittämiseksi solutasolla. Histopatologisten kuvien manuaalinen analyysi vie kuitenkin aikaa ja on altis virheille. Syväoppimiseen pohjautuvassa tutkimuksessa on esitetty menetelmiä rintasyövän tunnistamiseen, jotka voivat auttaa patologeja diagnosoimisessa. Konvoluutioneuroverkot ovat pitkään olleet käytetyin menetelmä rintasyövän luokitteluun syväoppimisessa, mutta ne ovat enimmäkseen rajoittuneet keskittymään kuvien paikallisiin ominaisuuksiin. Vision Transformer on osoittautunut suoriutumaan konvoluutioneuroverkkoja paremmin useissa kuvanluokittelutehtävissä, koska se pystyy keskittymään kuvien pitkän matkan riippuvuuksiin. Tämän tutkielman tavoitteena on arvioida Vision Transformer -pohjaisten mallien suorituskykyä vertaamalla niitä yleisesti käytettyyn konvoluutioneuroverkkoon ResNet-50, kokeilut suoritetaan PCam-aineistolla. Mallien koulutuksessa hyödynnämme sekä perinteistä siirto-oppimiseen perustuvaa lähestymistapaa että myös toimialuekohtaiseen esikoulutukseen perustuvaa lähestymistapaa. Osoitamme, että implementoiduilla Vision Transformer -malleilla saadaan parempia tuloksia kuin ResNet-50 -mallilla. Parhaalla mallilla B/16 saavutettiin paras AUC-tulos arvolla 0.97315. Toimialuekohtaisen esikoulutuksen käyttö parantaa suorituskykyä kaikissa malleissa paitsi Ti/16 malleissa.

Breast cancer is the most common cancer worldwide in females apart from non-melanoma skin cancer. Detecting breast cancer as early as possible could significantly reduce its death rates. Histopathological analysis of the breast tissues is needed for determining the malignancy of the tumor on a cellular level. Manual analysis of histopathological images is time consuming and sensitive to human errors. Deep learning has introduced methods for recognizing breast cancer to assist pathologists in their diagnostic workflow. The convolutional neural networks have for long been the bandwagon deep learning model for breast cancer classification, but they are mostly limited at focusing on local variations in image patterns. The Vision Transformer, which originated from the dominant Transformer architecture in natural language processing has shown to outperform convolutional neural networks on several image classification benchmarks, due to its ability to focus on long range dependencies in images. In this thesis we aim to evaluate the performance of Vision Transformer based models by comparing them to the commonly used convolutional neural network ResNet-50 on the PCam-dataset. For training we utilize both the conventional transfer learning based approach and also an pre-training approach based on domain adaptation. We demonstrate the effectiveness of the implemented Vision Transformer models in the medical domain, by obtaining better results than the ResNet-50 on the PCam-dataset, with the best model B/16 achieving the best AUC score of 0.97315. The use of domain-based pre-training shows a performance gain for every model except the Ti/16-family models.