Global Stability Analysis of Hopfield-Type Neural Networks

Abstract

Hopfield tipi yapay sinir ağı ve diğer sinir ağlarının denge noktalarının varlığı, tekliği ve global asimptotik kararlılığı ile ilgili birçok çalışma yapılmıştır. Ancak yapay sinir ağları gibi dinamik sistemlerin matematiksel çözümlerini ve kararlılığını incelemek kolay olmamıştır. Sistemin analitik çözümü imkânsıza yakın bir durumken bu sistemlerin davranışları hakkında bilgi edinmek mümkündür. Bu anlamda tasarlanmış en etkili yöntem Lyapunov'un doğrudan veya ikinci metodu kabul edilmektedir. Yöntemin en önemli özelliği sistemlerin diferansiyel denklemlerinin açıkça çözümüne ihtiyaç duymadan uygulanabilir olmasıdır. Bu çalışmada sistemlerin dinamik davranışını daha kolay analiz etmek için kullanılan modelleme probleminden hareketle, Hopfield tipi yapay sinir ağının RC ve Opamp elektrik devresine nasıl uygulanabileceği sunulmuştur. Sistemin ağırlık fonksiyonları fiziksel olarak anlamlandırılmış ve sistemin fiziksel anlamından hareketle Lyapunov veya enerji fonksiyonu inşa edilerek kararlılık analizi incelenmiştir. Sistem yörüngeleri boyunca Lyapunov veya enerji fonksiyonunun türevinin, devre teorisinin güç enerji ilişkisinden hareketle sistemde harcanan gücün negatif değerine eşit olduğu ispatlanmıştır. Elde edilen teorik sonuçlar Hurwitz matrisinin özdeğerleri ile test edilmiştir.

Many studies have been carried out on the existence, uniqueness and global asymptotic stability of the Hopfield type artificial neural network and other neural networks. However, it is not easy to analyse mathematical solutions and stability of dynamic systems such as artificial neural networks. While analytical solution of system is nearly impossible, it is possible to obtain information about behaviors of these systems. The most effective method designed in this sense is accepted as Lyapunov's direct or second method. The most important feature of the method is that it can be applied without the need for an explicit solution of differential equation of systems. In this study, based on the modeling problem which is used to analyse the dynamic behavior of systems more easily, it has been presented how the Hopfield type artificial neural network can be applied to the RC and Opamp electric circuit. The weight functions of the system are physically examined and the stability analysis is examined by constructing the Lyapunov or energy function from the physical meaning of the system. It will be shown that along the system trajectories, the derivative of the Lyapunov or energy function is equal to negative value of power dissipated in the system, based on the power-energy relationship of circuit theory. The obtained theoretical results has been tested with the eigenvalues of the Hurwitz matrix.