Îmbunătățirea performanței rețelelor neuronale profunde prin dezvoltarea de noi funcții de activare

Abstract

Rețelele Neuronale Artificiale [297] profunde au fost utilizate în diverse domenii emergente pentru a rezolva probleme complexe din lumea reală cu arhitecturi de Învățare Profundă (Deep Learning-DL) [26], fiind într-o permanentă dezvoltare. Pentru a rezolva aceste probleme complexe și a ajunge la performanțe tot mai mari, arhitecturile rețelelor neuronale profunde folosesc funcții de activare, pentru a efectua diferite calcule între straturile ascunse și straturile de ieșire ale rețelei neuronale. Deci succesul aplicării rețelelor neuronale artificiale, depinde de tipul de arhitectură folosit pentru maparea pe un anumit tip de sarcină, precum și de funcția de activare aplicată rețelei. Atât determinarea arhitecturii cât și a funcției de activare potrivite reprezintă puncte cheie în domeniul Învățării Profunde. Motivată de importanța funcției de activare care poate avea un impact major și determinant asupra arhitecturii unei rețele neuronale artificiale, propun mai multe funcții de activare care sunt atât cu parametri predefiniți cât și învățabili. Parametri învățabili conferă rețelei o mai mare flexibilitate în calculul de actualizare al ponderilor. Plec de la premisa că de obicei, rețelele neuronale artificiale folosesc funcții de activare neliniare pentru fiecare neuron din rețea. Metodele și algoritmii pentru implementarea funcțiilor de activare propuse sunt prezentate în cadrul acestei teze. De asemenea, în vederea evaluării cât mai obiective a performanței funcțiilor de activare propuse în rețelele neuronale artificiale profunde, le compar cu o serie largă de funcții de activare extrem de folosite în sarcinele de Învățare Automată folosind arhitecturi state-of-the-art. Seturile de date pe care le-am folosit în cadrul părții experimentale vizează două mari categorii de sarcini: Vederea Artificială (Computer Vision-CV) [225] și Procesarea Limbajului Natural (Natural Language Processing-NLP) [298]. Seturile de date din Computer Vision sunt: MNIST [183], Fashion MNIST [279], CIFAR-10, CIFAR-100 [30], Câini și pisici [299] dar și seturi de date care au ca arie de cercetare NLP. Diversitatea seturilor de date, a sarcinilor și arhitecturilor îmi conferă siguranța că am acoperit o parte din principalele obiective ale acestui domeniu atât de vast.