Algoritmi de învățare pentru rețele neuronale Clifford

Abstract

În prezenta teză, am extins cei mai cunoscuţi algoritmi de învăţare din cadrul reţelelor neuronale de tip feedforward cu valori reale în domeniul reţelelor neuronale cu valori complexe, şi anume metodele gradient îmbunătăţite (quickprop, resilient backpropagation, delta-bar-delta şi SuperSAB), metodele gradienţilor conjugaţi (cu actualizări Hestenes-Stiefel, Polak-Ribiere, Fletcher-Reeves şi Dai-Yuan, cu reporniri Powell-Beale şi cu actualizări Hestenes-Stiefel şi Polak-Ribiere pozitive), metoda gradienţilor conjugaţi scalaţi, metoda Newton (cu algoritmul de calcul al hessianei şi a produsului hessianei cu un vector), metodele quasi-Newton (a actualizării de rang unu, Davidon-Fletcher-Powell, Broyden-Fletcher-Goldfarb-Shanno şi one step secant) şi metoda Levenberg-Marquardt. Am prezentat rezultate experimentale pentru aplicaţii sintetice, respectiv problema XOR, problema XOR extinsă, două probleme de aproximare a unor funcţii complexe complet şi trei probleme de aproximare a unor funcţii complexe divizat, şi pentru aplicaţii din lumea reală, respectiv egalizarea canalelor liniare şi neliniare, predicţia seriilor de timp liniare şi neliniare şi predicţia direcţiei şi vitezei vântului, care au arătat o îmbunătăţire de până la şase ordine de mărime în termeni de eroare medie pătratică faţă de metoda gradient clasică. Ca o generalizare a reţelelor neuronale cu valori complexe, am dedus aceiaşi algoritmi pentru reţelele neuronale Clifford. În această teză, am introdus de asemenea un algoritm de încorporare (embedding algorithm) ce permite calculul mediei pe varietăţi diferenţiabile, cu aplicaţie la medierea rotaţiilor. Am prezentat rezultate experimentale folosind funcţii de tip Lp, ceea ce constituie o noutate în literatură, şi în particular am făcut comparaţia între cazul L2 şi cazul L4. Am introdus, în premieră după cunoştinţele noastre, unele generalizări ale reţelelor neuronale Clifford, şi anume reţelele neuronale cu valori matrici pătratice, definite pe algebra matricilor cu operaţiile naturale de adunare şi înmulţire, şi respectiv reţelele neuronale cu valori matrici antisimetrice, adică reţele neuronale pe algebra asociată grupului de rotaţii. Rezultatele experimentale, pe trei probleme de aproximare a unor funcţii sintetice în cazul reţelelor neuronale cu valori matrici pătratice, respectiv pe două probleme de aproximare a unor funcţii sintetice şi pe transformări geometrice (translaţia, scalarea şi rotaţia) în cazul reţelelor neuronale cu valori matrici antisimetrice sunt promiţătoare pentru viitorul acestor tipuri de reţele.