Ekspresi Rekursif Algoritma BPNN

Di top pencarian saya temukan kata kunci tentang ekspresi rekursif yang secara eksplisit dinyatakan oleh persamaan (10) pada posting saya sebelumnya tentang algoritma BPNN (backpropagation neural networks). Algoritama tersebut, seperti yang telah saya tulis, menggunakan metode gradient descent, namun untuk penurunan rumusnya dalam konteks struktur algoritma pembelajaran jaringan backpropagation, perlu pemahaman sedikit lebih dalam tentang persamaan diferensial parsial (PDE) termasuk pula aturan rantai (chain rule) di dalamnya. Metode ini bertujuan untuk meminimalkan error jaringan dengan cara memperbarui bobot w di setiap langkah iterasi. Untuk itu diperlukan suatu ekspresi atau persamaan yang mengaitkan perubahan error E di setiap layer, dimana nantinya didapat E_{n+1}<E_{n}, seperti tampak pada gambar berikut :

Maka diperlukan rumus untuk ekspresi rekursif antara \partial E/\partial x_{k}^{n}, bobot w, fungsi transfer non-linier dari jumlah input di setiap layer (s), dan \partial E/\partial x_{k}^{n+1}, dimana simbol k di sini menandai neuron pada layer ke-n atau ke-(n+1). Untuk mencari hubungan rekursif tersebut digunakan aturan rantai (chain rule) yang langkah-langkahnya adalah sebagai berikut.

Pertama, kita gali turunan parsial error yang mengacu kepada output neuron pada persamaan (9) di posting sebelumnya, yang dapat ditulis menjadi,

\frac{\partial E}{\partial x_{m}^{n}}= \sum_{j=1}^{L}\frac{\partial E}{\partial s_{j}^{n+1}}\frac{\partial s_{j}^{n+1}}{\partial x_{m}^{n}}, …. (1)

dan karena

s_{j}^{n+1}= \sum_{i=1}^{N} w_{ij}^{n+1}x_{i}^{n} ….(2)

maka diperoleh

\frac{\partial s_{j}^{n+1}}{\partial x_{m}^{n}}= w_{mj}^{n+1}. ….(3)

Dengan mensubstitusikan persamaan (3) ke persamaan (1) diperoleh :

\frac{\partial E}{\partial x_{m}^{n}}= \sum_{j=1}^{L}\frac{\partial E}{\partial s_{j}^{n+1}}w_{mj}^{n+1} ….(4)

Karena x_{j}^{n+1}=f\left ( s_{j}^{n+1} \right ), maka

\frac{\partial E}{\partial s_{j}^{n+1}}= f'\left ( s_{j}^{n+1} \right ) \frac{\partial E}{\partial x_{j}^{n+1}}….(5)

Dan akhirnya, dengan mensubstitusikan persamaan (5) ke dalam persamaan (4) diperoleh hubungan rekursif tersebut, yaitu :

\frac{\partial E}{\partial x_{m}^{n}}= \sum_{j} w_{mj}^{n+1} f'\left ( s_{j}^{n+1} \right ) \frac{\partial E}{\partial x_{j}^{n+1}}….(6)

Persamaan (6) ini menunjukan apa yang sedang kita bicarakan ini, yaitu bahwa \partial E / \partial x_{m}^{n} bisa dinyatakan secara rekursif dengan melibatkan derivatif error terhadap output neuron pada layer berikutnya.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s