Combination of Pca With Smote Oversampling for Classification of High-Dimensional Imbalanced Data

Abstract

Dengesiz verilerin sınıflandırması, sınıflandırıcıların daha büyük veri sınıfına doğru çarpıtıldığı veri madenciliğinde yaygın bir konudur. Yüksek boyutlu çarpık (dengesiz) verilerin sınıflandırılması, daha zor olduğundan karar vericiler için büyük ilgi görmektedir. Değişkenlerin azaltıldığı bir süreç olan boyut indirgeme yöntemi, yüksek boyutlu veri setlerinin belirli bir kayıpla daha kolay yorumlanmasını sağlamaktadır. Ayrıca, yüksek boyutlu dengesiz verilerin sınıflandırılması tekrarlanan bir sorun haline gelmiştir. Bu çalışmada, yüksek boyutlu verilerde dengesizlik problemini çözmek için SMOTE aşırı örnekleme ile Temel Bileşen Analizini (PCA) birleştiren yeni bir yöntem önerilmiştir. Önerilen yöntemin etkinliğini kontrol etmek ve sınıflandırıcıların performansını belirlemek için Karar Ağacı (DT), Destek Vektör Makineleri (SVM), En Yakın Komşu (K-NN), Naive Bayes (NB), Lojistik Regresyon (LR) ve Yapay Sinir Ağlarından (ANN) oluşan altı sınıflandırma algoritması ve altı farklı veri kümesi kullanılmıştır. Sırasıyla, ham veri setleri, PCA, SMOTE ve SMOTE+PCA yöntemleriyle dönüştürülen veri setleri verilen algoritmalarla analiz edilmiştir. Analizler WEKA programlama dillerinden yararlanılarak yapılmıştır. Analiz sonuçları, neredeyse tüm sınıflandırma algoritmalarının PCA, SOMTE ve SMOTE+PCA yöntemlerini kullanarak sınıflandırma performanslarını iyileştirdiğini göstermektedir. Bununla birlikte, SMOTE yöntemi, verilerin yeniden dengelenmesi için PCA ve PCA+SMOTE yöntemlerinden daha etkili sonuçlar vermiştir. Ayrıca deneysel sonuçlar, SVM ve K-NN sınıflandırıcılarının diğer algoritmalara kıyasla daha yüksek sınıflandırma performansı sağladığını göstermektedir.

Imbalanced data classification is a common issue in data mining where the classifiers are skewed towards the larger data class. Classification of high-dimensional skewed (imbalanced) data is of great interest to decision makers as it is more difficult to. Dimension reduction method, which is a process in which variables are reduced, allows high dimensional datasets to be interpreted more easily with a certain loss. Furthermore, classification of high dimensional imbalanced data has become a recurring problem. In this study, a new method combining SMOTE oversampling with Principal Component Analysis (PCA) is proposed to solve the imbalance problem in high dimensional data. Six classification algorithms consisting of Decision Tree (DT), Support Vector Machines (SVM), K-Nearest Neighbor Method (K-NN), Naive Bayes (NB), Logistic Regression (LR) and Artificial Neural Networks (ANN) and six different datasets were used to check the efficiency of the proposed method and determine the performance of the classifiers. Respectively, raw datasets, converted datasets by PCA, SMOTE and SMOTE+PCA (SMOTE and PCA) methods, were analyzed with the given algorithms. Analyzes were made using WEKA. Analysis results suggest that almost all classification algorithms improve their classification performance by using PCA, SOMTE and SMOTE+PCA methods. However, the SMOTE method gave more efficient results than PCA and PCA+SMOTE methods for data rebalancing. Experimental results also suggest that SVM and K-NN classifiers provided higher classification performance compared to other algorithms.