Hyper Parameter Optimization in Convolutional Neural Networks Using Bayesian Optimization Method

Abstract

Yapay sinir ağlarında farklı kullanım alanları için birçok ağ çeşidi geliştirilmiştir. Bunlardan bazıları, görüntü işleme, ses tanıma ve doğal dil işlemedir. Evrişimsel sinir ağları ise görüntü işleme ve bilgisayarlı görü alanlarını kapsar. Evrişimsel sinir ağları çok katmanlı yapısı sayesinde büyük miktarda verileri işleyebilmektedir. Bu ağların performansını evrişim katman sayısı, çekirdek sayısı, parti boyutu, çekirdeklerin boyutu ve öğrenme hızı gibi bir çok hiper parametre değerleri etkiler. Bu çalışmada, Evrişimsel Sinir Ağları üzerinde Bayes optimizasyonu, Rastgele ve Izgara arama yöntemlerini kullanarak hiper parametre optimizasyonunu geliştirdiğimiz sinir ağı modeli ile performans kıyaslaması yapmak için literatür incelemesi ve deneysel çalışma yapılacaktır. Bayes optimizasyonun Rastgele ve Izgara arama yöntemlerinden temel farkı ayarlama algoritmasının hiper parametre seçimini her turda bir önceki hiper parametre sonucuna göre optimize etmesidir. Bu yöntem ile optimum sonuca ulaşma hızı diğerlerine göre daha yüksek olduğu kıyaslamalı deneylerde ortaya konulmuştur. Çalışma kapsamında, arama yöntemlerini üç farklı veri seti kullanarak geliştirdiğimiz ESA modelinde karşılaştırılıp, sonuçlar sunulacaktır.

Many types of networks have been developed for different usage areas in artificial neural networks. Some of these are image processing, voice recognition and natural language processing. Convolutional neural networks, on the other hand, cover the fields of image processing and computer vision. Convolutional neural networks can process large amounts of data thanks to their multi-layered structure. The performance of these networks is affected by many hyper parameter values such as the number of convolution layers, the number of cores, the batch size, the size of the cores and the learning rate. In this study, literature review and experimental work will be done to compare the performance with the neural network model, which we developed hyper parameter optimization using Bayesian optimization, Random and Grid search methods on Convolutional Neural Networks. The main difference of Bayesian optimization from Random and Grid search methods is that the tuning algorithm optimizes the hyperparameter selection in each round according to the previous hyperparameter result. It has been demonstrated in comparative experiments that the speed of reaching the optimum result with this method is higher than the others. Within the scope of the study, the search methods will be compared in the CNN model, which we developed using three different data sets, and the results will be presented.