dc.description.abstract |
În prezenta teză, am extins cei mai cunoscuţi algoritmi de învăţare din
cadrul reţelelor neuronale de tip feedforward cu valori reale în domeniul
reţelelor neuronale cu valori complexe, şi anume metodele gradient
îmbunătăţite (quickprop, resilient backpropagation, delta-bar-delta şi
SuperSAB), metodele gradienţilor conjugaţi (cu actualizări Hestenes-Stiefel,
Polak-Ribiere, Fletcher-Reeves şi Dai-Yuan, cu reporniri Powell-Beale şi cu
actualizări Hestenes-Stiefel şi Polak-Ribiere pozitive), metoda gradienţilor
conjugaţi scalaţi, metoda Newton (cu algoritmul de calcul al hessianei şi a
produsului hessianei cu un vector), metodele quasi-Newton (a actualizării de
rang unu, Davidon-Fletcher-Powell, Broyden-Fletcher-Goldfarb-Shanno şi one
step secant) şi metoda Levenberg-Marquardt. Am prezentat rezultate
experimentale pentru aplicaţii sintetice, respectiv problema XOR, problema XOR
extinsă, două probleme de aproximare a unor funcţii complexe complet şi trei
probleme de aproximare a unor funcţii complexe divizat, şi pentru aplicaţii din
lumea reală, respectiv egalizarea canalelor liniare şi neliniare, predicţia seriilor
de timp liniare şi neliniare şi predicţia direcţiei şi vitezei vântului, care au arătat
o îmbunătăţire de până la şase ordine de mărime în termeni de eroare medie
pătratică faţă de metoda gradient clasică.
Ca o generalizare a reţelelor neuronale cu valori complexe, am dedus
aceiaşi algoritmi pentru reţelele neuronale Clifford.
În această teză, am introdus de asemenea un algoritm de încorporare
(embedding algorithm) ce permite calculul mediei pe varietăţi diferenţiabile, cu
aplicaţie la medierea rotaţiilor. Am prezentat rezultate experimentale folosind
funcţii de tip Lp, ceea ce constituie o noutate în literatură, şi în particular am
făcut comparaţia între cazul L2 şi cazul L4.
Am introdus, în premieră după cunoştinţele noastre, unele generalizări
ale reţelelor neuronale Clifford, şi anume reţelele neuronale cu valori matrici
pătratice, definite pe algebra matricilor cu operaţiile naturale de adunare şi
înmulţire, şi respectiv reţelele neuronale cu valori matrici antisimetrice,
adică reţele neuronale pe algebra asociată grupului de rotaţii. Rezultatele
experimentale, pe trei probleme de aproximare a unor funcţii sintetice în cazul
reţelelor neuronale cu valori matrici pătratice, respectiv pe două probleme de
aproximare a unor funcţii sintetice şi pe transformări geometrice (translaţia,
scalarea şi rotaţia) în cazul reţelelor neuronale cu valori matrici antisimetrice
sunt promiţătoare pentru viitorul acestor tipuri de reţele. |
|