Rezumat teza - Facultatea de Electronica, Telecomunicatii si ...

Capitolul 8 Melinda BARABÁS
compară patru paradigme de antrenare, dintre care trei sunt întâlnite ¸si în literatura de specialitate
(instruire STL – Single-Task Learning, instruire STL cu descompunere multirezolu¸tie ¸si instruire
MTL – Multi-Task Learning), iar una este proprie (instruire MTL cu multirezolu¸tie).
S-a optat pentru o re¸tea de structură 4 − 5 − no cu algoritm backpropagation, adică 4 noduri
de intrare, un strat ascuns de 5 neuroni (cu func¸tie sigmoidală logaritmică), respectiv un strat de
ie¸sire cu no noduri de ie¸sire, caracterizate de o func¸tie de activare liniară. Se alege no = 1 pentru
instruire STL, respectiv no = 3 pentru MTL. Experimentele se execută cu acelea¸si valori ini¸tiale
ale ponderilor ¸si ale pragurilor. Numărul maxim de epoci se setează la 300 pentru paradigma STL
¸si MTL, iar în cazul învă¸tării multirezolu¸tie fiecare etapă are o durată de 100 de itera¸tii. S-a ales
metoda de antrenare trainlm bazată pe algoritmul Levenberg–Marquardt deoarece converge
rapid ¸si oferă o precizie satisfăcătoare. Rata de învă¸tare a fost setată la 0.01, fără momentum.
8.4.1 Instruire STL
Figura 8.2(a) ilustrează arhitectura re¸telei neuronale utilizate în cazul procesului de învă¸tare prin
intermediul paradigmei tradi¸tionale de antrenare folosite în probleme de predic¸tie, ¸si anume învă¸tarea
unui singur task (STL).
∆
∆
∆
x(t)
x(t-1)
x(t-2)
x(t-3)
(a) Arhitectura NN cu STL
x(t+1)
∆
∆
∆
x(t)
x(t-1)
x(t-2)
x(t-3)
Figura 8.2 Arhitectura re¸telei neuronale
(b) Arhitectura NN cu MTL
8.4.2 Instruire STL cu descompunere multirezolu¸tie
x(t)
x(t+1)
Task
suplimentar
Task
principal
Task
x(t+2) suplimentar
Prin procesul de instruire multirezolu¸tie, ¸sirul de date de antrenare s m se descompune în seturi
distincte: setul original (având rezolu¸tia cea mai fină) ¸si seturi care reprezintă date de rezolu¸tie mai
grosieră s j , j < m. Pentru descompunere se folose¸ste transformata wavelet Haar.
Ponderi iniţializate
în mod aleator
Am-2
d m-2
s m-2
Ponderi estimate
în pasul precedent
Am-1
d m-1
s m-1
Ponderi estimate
în pasul precedent
Am
NN NN NN
Figura 8.3 Schema de bază a instruirii multirezolu¸tie
Teză de doctorat, 2011 35
s m