AbstractsComputer Science

Image Classification Using a Combination of Convolutional Layers and Restricted Boltzmann Machines

by Hanna Hultin




Institution: KTH Royal Institute of Technology
Department:
Year: 2015
Keywords: Natural Sciences; Computer and Information Science; Computer Science; Naturvetenskap; Data- och informationsvetenskap; Datavetenskap (datalogi)
Record ID: 1343980
Full text PDF: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-168005


Abstract

Denna studie har till syfte att undersöka vilken effekt restricted Boltzmann machines (RBMs) har när de kombineras med ett convolutional neural network (CNN) som används för bildklassificering. Detta är ett intressant område som kombinerar övervakad och oövervakad träning av neurala nätverk och som ännu inte har granskats ordentligt. Olika versioner av neurala nätverk tränades och testades med hjälp av två dataset bestående av 70 000 handskrivna siffror respektive 60 000 naturliga bilder. Utgångspunkten var ett vanligt CNN där första lagret sedan byttes ut mot två olika sorters RBMs. För att evaluera effekten av RBMs jämfördes felprocent och träningstid. Resultaten visar att kombinationen av RBMs och CNNskan fungera om rätt implementerad och användas i tillämpningar. Det finns fortfarande mycket kvar att undersöka, då denna studie begränsades av den tillgängliga beräkningskraften. ; This study aims to investigate what impact restricted Boltzmann machines (RBMs) have when combined with a convolutional neural network (CNN) used for image classification. This is an interesting area of research which combines supervised and unsupervised training of neural networks and it has not been thoroughly examined yet. Different versions of neural networks were trained and tested using two datasets consisting of 70 000 handwrittendigits and 60 000 natural images. The starting point was aregular CNN where the first layer then was replaced by two different kinds of RBMs. To evaluate the effect of RBMs the error rates and training times were compared. The results show that the combination of RBMs and CNNs can work if implemented right and can be used in different applications. There is still much left to investigate, since this study was limited by the available computational power.