An Application for Sentiment Analysis in Big Data Based Systems:refugee Perception of Twitter Users in Europe

Abstract

Bu tez çalışmasında, büyük verilerin işlenmesi aşamasında yaşanan performans kayıplarının giderilmesi amacıyla, Hadoop ekosistemi üzerinde çalışan dağıtık kombine bir duygu analizi modeli tasarlanarak geliştirilmiştir. Duygu analizi konusunda yaygın olarak kullanılan sözlük tabanlı yöntemler ve makine öğrenmesi tabanlı yöntemler birleştirilerek kombine yeni bir model kullanılmıştır. Geliştirdiğimiz kombine model, hem Hadoop mimarisinde dağıtık sürüm olarak, hem de geleneksel programlama mimarisinde seri sürüm olarak programlanarak uygulanmış ve başarım sonuçları karşılaştırılarak raporlanmıştır. Literatüre önemli ölçüde katkı sunacağını düşündüğümüz, tez çalışması sürecinde geliştirdiğimiz ve büyük veri analizinde kullandığımız Hadoop Dağıtık Dosya Sistemi (HDDS) tabanlı paralel model ile performans kayıpları önemli ölçüde giderilerek daha yüksek bir performans elde edilmiştir. Ayrıca, bu tez çalışması ile dünyanın birçok ülkesini ilgilendiren göç-göçmen sorununa bir perspektif tutulması hedeflenmiştir. Hedef kitle olarak Avrupa ülkelerindeki Twitter kullanıcılarıseçilmiştir. Analiz sonuçları ile Twitter kullanıcılarının algılarının, ülkelere göre değişiklik gösterdiği tespit edilmiştir. Çalışma sonuçları, göçmen problemine gösterilen refleksin ve tepkilerin ülkeden ülkeye değişebilmekte olduğunu göstermiştir. Elde edilen bu sonuçların konu ile ilgilenen bilim insanlarına önemli bir veri sunacağı düşünülmektedir.

In this thesis, in order to eliminate the performance losses experienced in the processing of big data, a distributed combined model working on the Hadoop ecosystem was designed and developed.A new model was used by combining dictionary-based methods and machine learning-based methods which are commonly used in sentiment analysis.The combined model we developed has been programmed and implemented as both the distributed version on Hadoop architecture and the serial version on traditional programming architecture and performance results has been compared and reported. Parallel model on Hadoop Distributed File System, which we believe will contribute significantly to the literature, developed it in the thesis study process, and used in big data analysis, has achieved a higher performance by significantly eliminating performance losses. In addition, with this thesis, it is aimed to keep a perspective on the Migration-Migrant problem, which concerns many countries of the world.Twitter users in European countries were selected as the target audience.It has been determined that the perceptions of Twitter users included in the analysis vary by country.The results of the study showed that the reflex and reactions to the immigrant problem can vary from country to country.It is thought that these results also provide important data to the researchers.