Regola di Hebb

Un ponte tra apprendimento biologico e
artificiale. La “Regola di Hebb” e le evidenze
sperimentali nella Long-Term Potentiation.
Marco Ernandes
Tesina per il corso di Neuroscienze. Ph.D. Scienze Cognitive.
1 Introduzione
Nel campo dell’Intelligenza Artificiale è stato fatto spesso riferimento ad
una presunta ispirazione biologica: si ritiene che l’Intelligenza “Naturale”
del cervello possa venir riprodotta, seppur parzialmente e solo in un contesto
simulativo, tramite il calcolatore. Nel settore delle Reti Neurali Artificiali
(ANN), che più di ogni altro ha abbracciato questa filosofia, la realtà dei
fatti è ben diversa. I sistemi che in letteratura sono risultati più efficienti
riportano un numero di differenze rispetto al modello biologico (differenze
architetturali, algoritmiche e funzionali) che di gran lunga supera quello
delle similitudini.
La distanza tra il modello artificiale e quello biologico si avverte soprattutto
nel momento in cui si tenta di far confluire nel simulatore informatico le
capacità plastiche del sistema nervoso umano. L’estrema semplificazione su
cui si basa l’architettura neuronale artificiale ha ridotto enormemente la variabilità
del comportamento cellulare: tutti i fenomeni di natura biochimica e
bioelettrica che prendono luogo nella comunicazione sinaptica sono stati rozzamente
riassunti in un unico numero scalare denominato “peso sinaptico”
che modula il segnale proveniente dall’assone del neurone eccitato. L’attività
dei neurotrasmettitori e dei ricettori nel contesto della comunicazione sinaptica
è estremamente variabile (lo stesso potenziale d’azione ha significati
molto diversi a seconda delle varie combinazioni mediatore-ricettore che possono
entrare in azione) e questa variabilità può sicuramente giocare un ruolo
importante in fenomeni quali l’apprendimento per rinforzo: una tipologia di
learning 1 ritenuta tanto potente nel modello biologico quanto sterile nella
1 Nel Machine Learning si tendono a distinguere tre diversi modelli di apprendimento
a seconda della modalità di presentazione degli esempi (cosa che ha delle ovvie e dirette
ripercussioni sull’architettura interna del sistema). Due di questi, l’apprendimento supervisionato
e quello non-supervisionato, sono dicotomici e rappresentano delle formulazioni
“pure”: nel primo caso il sistema intelligente osserva degli esempi a cui sono associati
dei valori di classificazione noti a priori e cerca di adattare il proprio comportamento in

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 2
simulazione informatica.
Questa enorme ricchezza delle componenti elettrochimiche è stata negata
nel modello simulativo artificiale ed il risultato è stato una scarsa capacità
adattiva e plastica del neurone preso come unità indipendente [1]. Ne
è emersa la necessità di escogitare efficienti algoritmi adattivi per reti di
neuroni. La soluzione più brillante adottata dagli informatici a questo fine
è stata l’idea della retropropagazione dell’errore [2]. Questa tecnica ha
permesso la regolazione dei pesi sinaptici in modo molto semplice, prendendo
direttamente spunto dall’architettura della rete neuronale.
L’algoritmo di BackPropagation, oltre a fornire un sensibile incremento
delle capacità di apprendimento delle ANN, ha però anche accentuato le
distanze tra i modelli neurali biologici e artificiali, decretando una netta separazione
delle due discipline: l’apprendimento in BackPropagation su reti
multistrato alimentate in avanti rappresenta uno straordinario strumento
matematico-statistico di approssimazione e ottimazione in sistemi non lineari,
ma un abissale salto in dietro nel tentativo di riprodurre l’attività
intelligente del cervello umano.
Vi sono stati tentativi di produrre algoritmi di learning biologicamente
plausibili. Il problema con cui si sono regolarmente imbattuti è stato quello
di permettere l’addestramento anche in presenza di funzioni non linearmente
separabili.
Ultimamente sono emersi alcuni esempi in cui questo problema sembrerebbe
superato. Quasi tutte queste ipotesi fanno capo ad un’unica regola di
modulazione adattiva della risposta sinaptica: la “regola di Hebb”. Vale la
pena soffermarsi su questa, prima di accennare alle sue evoluzioni più recenti,
e di osservare le evidenze sperimentali che ne dimostrano la plausibilità
biologica.
2 Descrizione della “Regola di Hebb”
Questa regola rappresenta un modello ”ponte” tra apprendimento biologico e
artificiale. Essa riesce a descrivere la capacità adattiva delle unità neuronali
in contesti di apprendimento associativo.
La sua formulazione originale, del 1949, è fornita dalla seguente postulazione
(meramente teorica) di Donald Hebb [3]: quando un assone della
cellula A (la cellula presinaptica) prende parte ripetitivamente nel processo
modo da ridurre l’errore del sistema rispetto ai valori target, nel secondo caso invece non
vi è nessuna label associata agli esempi e il sistema cerca autonomamente di scovare delle
similitudini tra i pattern in modo da poterli organizzare in classi. Vi è un terzo modello,
intermedio, in cui gli esempi sono privi di valori attribuiti a priori (in modo analogo
all’apprendimento non-supervisionato) e in cui il concetto di errore è stato sostituito da
un valore di rinforzo che segnala il comportamento positivo o negativo rispetto al pattern
osservato. Il learning per rinforzo è sicuramente quello che più ricorda gli schemi di
apprendimento umani.

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 3
di eccitamento della cellula B (la cellula postsinaptica), qualche cambiamento
strutturale o metabolico subentra in una o entrambe le cellule in modo che
l’efficienza di A, come cellula eccitatrice di B, aumenti.
Un ulteriore contributo di Hebb alla teoria connessionista e alle neuroscienze
computazionali è stata quella di espandere la regola di Hebb a gruppi
di neuroni: eccitandosi insieme questi formano raggruppamenti cellulari associativi.
Secondo il pensiero di Hebb l’attività cognitiva è determinata
dall’attivazione sequenziale di questi insiemi.
La più semplice delle formulazioni matematiche proposte per descrivere
la regola di Hebb è la seguente:
∆wij = ηxixj
∆wij rappresenta la variazione dell’efficienza sinaptica tra il neurone i e il
neurone j, η la velocità di adattamento. Risulta evidente che se le due cellule
si attivano contemporaneamente l’efficienza della sinapsi che le collega
viene rafforzata. Questo permette di dar luogo ad un fenomeno di adattamento
associativo che prescinde dalla presenza di una supervisione esterna
all’attività neuronale.
3 Long-Term Potentiation e le evidenze sperimentali della
“Regola di Hebb”
Le sinapsi che mettono in moto meccanismi associativi del tipo descritto
dalla “learning hebbian rule” vengono tipicamente chiamate “sinapsi hebbiane”.
La presenza di queste all’interno del cervello umano è stata provata
oltre venti anni dopo la postulazione di Hebb. Ed è stata inoltre ricondotta
a varie e distinte manifestazioni di attività intellettuale legate all’apprendimento.
Nel 1973 Bliss e Lømo [4] hanno sperimentalmente osservato che applicando
treni di stimoli ad alta frequenza in una qualsiasi delle vie afferenti
all’ippocampo (le tre tipologie di vie e i campi neuronali sono rappresentati
in figura 1) si genera un aumento dei potenziali postsinaptici eccitatori.
Questo fenomeno fu chiamato Potenziamento a Lungo Termine (LTP:
Long-Term Potentiation, del quale è stato registrato anche l’inverso, la LTD:
Long-Term Depression).
Per indurre l’insorgere della LTP viene introdotto un elettrodo per la
stimolazione extracellulare delle vie afferenti. Un secondo elettrodo, di registrazione,
è posto in diretto contatto con il neurone di uscita e ne misura
il potenziale di membrana. Il test (che è stato riprosto in figura 2) viene
condotto per fasi:
1. per prima cosa si stimolano le vie afferenti con una frequenza scarsa,
insufficiente a far scaturire un potenziale d’azione; viene registrata la

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 4
via delle fibre
collaterali di Shaeffer
CA3
via muscoide
CA1
giro dentato
via perforante
Fig. 1: Struttura dell’ippocampo e delle tre vie eccitatorie.
Fig. 2: Potenziamento a lungo termine. Fase A: viene misurata la risposta postsinaptica
ad una stimolazione delle vie afferenti. Fase B: viene prodotto un stimolo ad alta
frequenza che genera un potenziale d’azione. Fase C: dopo il potenziale d’azione
si registra la crescita della risposta postsinaptica al medesimo stimolo artificiale,
la sinapsi produce LPT.
conseguente risposta postsinaptica.
2. alle cellule presinaptiche viene fornito uno stimolo ad alta frequenza in
modo da ingenerare un potenziale d’azione (questa fase del test viene
ripetuta più volte, se necessario).
3. con lo stesso stimolo prodotto al punto 1 si osserva la risposta postsinaptica:
questa risulta essere sensibilmente maggiore rispetto a quella
iniziale e potrebbe anche risultare in un potenziale d’azione.
Nel 1988 Gustafsson e Wingström [5] hanno potuto dimostrare che la
comparsa dell’LTP si deve ad una simultanea attività del neurone presinaptico
e di quello postsinaptico. Questa osservazione risulta essere in pieno
accordo con quanto postulato da Hebb. Le verifiche sperimentali fornite
dagli autori sono di tre tipi: i) bloccando l’inibizione postsinaptica con l’uso

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 5
di speciali tossine l’LTP viene notevolmente potenziato; ii) l’LTP può essere
impedito stimolando le afferenze inibitorie delle cellule postsinaptiche;
iii) stimolando artificialmente e contemporaneamente la cellula presinaptica
(con una frequenza insufficiente per la generazione di un potenziale d’azione)
e quella postsinaptica si ingenera l’LTP.
I neuroscienziati hanno fornito un modello che descrive l’attività elettrochimica
delle sinapsi coinvolte nel potenziamento a lungo termine. Si
ritiene che l’LTP si verifichi quando la frequenza del segnale di ingresso è
tale da depolarizzare la membrana della spina dendritica e liberare il blocco
del magnesio sui canali NMDA 2 , permettendo l’ingresso del calcio. Mentre
i canali non-NMDA non permettono l’ingresso del calcio, attraverso i
canali NMDA questo affluisce rapidamente all’interno della spina dendritica
e la crescita della concentrazione di Ca 2+ favorisce l’insorgere di chinasi
Ca 2+ -dipendenti che inducono la cellula postsinaptica a inviare un messaggero
retrogrado (secondo un meccanismo ancora non accertato) alla cellula
presinaptica.
Il feedback fornito dal messaggio retrogrado è necessario perchè, se da
un lato l’induzione dell’LTP è dovuta a fattori postsinaptici, dall’altro il
mantenimento di questo fenomeno (che può durare a lungo: ore, se non addirittura
molti giorni) richiede un cambiamento postsinaptico identificabile
con l’aumento della liberazione di neurotrasmettitore. Malinow e Tsien [6]
dimostrarono il verificarsi di questo cambiamento metabolico persistente nel
campo CA1 dell’ippocampo.
Come collegare il potenziamento a lungo termine (e di conseguenza il postulato
di Hebb) a meccanismi cognitivi di apprendimento e memoria? Una
risposta è arrivata da un interessante studio di Morris [7]. Questi ha osservato
una forte influenza dell’LTP sulla capacità animale di organizzare e accedere
alla memoria spaziale. Bloccando i recettori NMDA dell’ippocampo
di un ratto impegnato in un compito di ritrovamento di un oggetto, Morris et
al. osservarono che quando l’oggetto era fuori dal campo visivo dell’animale
(richiedendo quindi l’uso di memoria spaziale) il compito non veniva portato
a termine.
4 Raffinamento del concetto di contemporaneità nella “Regola
di Hebb”
Il postulato di Hebb fa riferimento ad un’attività pre e post-sinaptica contemporanea.
Che cosa vuol dire questo esattamente? Quando si può parlare
di simultaneità o di attività ravvicinata? Una risposta a queste domande è
emersa recentemente.
2 Si tratta di un particolare tipo di recettore ad accesso controllato direttamente.
Possiede un doppio meccanismo di controllo: uno tramite l’azione di un agonista, il glutammato,
e l’altro tramite la variazione di voltaggio, questa produce la liberazione del
magnesio bloccante. Entrambe le componenti sono necessarie per l’apertura del canale.

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 6
modificazione
efficacia
sinaptica
ampiezza
intervallo tra
stimolo presinaptico
e stimolo postsinaptico
Fig. 3: Relazione tra ampiezza dell’intervallo tra gli stimoli pre e postsinaptici e
l’aggiornamento dell’efficacia sinaptica prodotto dal LTP.
Bi e Poo [8] hanno osservato che la variazione dell’efficacia sinaptica è
influenzata anche dalla distanza temporale tra gli spike. I due autori hanno
prodotto dei test in cui dei neuroni dell’ippocampo messi in coltura venivano
forzati ad avere degli spike in tempi determinati. Da questi esperimenti è
emersa una funzione che lega ∆wij/wij e t f
j − tf
i
, del tipo rappresentato
nel grafico in figura 3. Si può osservare agevolmente che quando la cellula
presinaptica (j) si attiva prima della cellula postsinaptica (i) l’efficacia
sinaptica cresce (e lo fa in maniera esponenziale col decrescere dell’intervallo
tra gli stimoli). Se, al contrario, la cellula j viene attivata successivamente a
i il legame sinaptico perde forza, in quanto lo spike su j non è stato indotto
da i.
5 Algoritmi biologicamente plausibili
Un primo esempio di algoritmo di learning che coniuga plausibilità biologica
ed efficacia in contesti di separabilità non lineare è quello fornito da Mazzoni,
Andersen e Jordan [9]. Nel loro modello teorico questi autori hanno
introdotto un valore di rinforzo sul comportamento del sistema (rinforzo
che è ben lungi dall’essere un indicatore dell’errore in output, come avviene
nell’apprendimento supervisionato) che va a colpire tutti i neuroni presenti
nell’architettura.
L’aggiornamento del peso sinaptico viene eseguito massimizzando il rinforzo
sul set di addestramento seguendo lo schema seguente:
∆wij = r(xi − pi)xj + xj + λ(1 − r)(1 − xi − pi)xi
dove pi è la probabilità (questa identifica quindi la presenza di un elemento
di randomizzazione nel learning) che il neurone xi presenti uno spike e r è
lo scalare di rinforzo compreso tra 0 (errore nell’output) e 1 (performance
perfetta).
I risultati sperimentali hanno messo in luce che questo algoritmo, privo
di retropropagazione dell’errore (e del concetto di errore stesso!) e privo di

Tesina per il corso di Neuroscienze. - Ph.D. Scienze Cognitive. 7
supervisione completa è capace di convergere in maniera comparabile alle
tecniche classiche di learning non biologico, seppur con una curva d’errore
soggetta a forte instabilità.
References
[1] M. L. Minsky and S. A. Papert, Perceptrons. An introduction to Computational
Geometry. Cambridge, Mass: Cambridge Press, 1969.
[2] D. Rumelhart and J. McClelland, Parallel Distributed Processing. Cambridge,
Mass: MIT Press, 1986.
[3] D. O. Hebb, The organization of behavior. New York: John Wiley Inc.,
1949.
[4] T. V. P. Bliss and T. Lømo, “Long-lasting potentiation of synaptic transmission
in the dentate area of the anaesthetized rabbit following stimulation
of the perforant path,” Journal of Physiology, vol. 232, pp. 331–356,
1937.
[5] B. Gustafsson and H. Wingström, “Physiological mechanism underlying
long-term potentiation,” Trends Neuroscience, vol. 11, pp. 156–162,
1988.
[6] R. Malinow and R. W. Tsien, “Presynaptic enhancement shown by
whole-cell recordings of long-term potentiation in hippocampal slices,”
Nature, vol. 335, pp. 820–824, 1990.
[7] R. G. M. Morris, E. Anderson, G. S. Lynch, and M. Baudry, “Selective
impairment of learning and blockade of long-term potentiation by an nmethyl-d-aspartate
receptor antagonist, ap5,” Nature, vol. 319, pp. 774–
776, 1986.
[8] X. Bi and X. Poo, “Synaptic modifications in cultured hippocampal neurons:
Dependence on spike timing, synaptic strength, and postsynaptic
cell type,” The Journal of Neuroscience, vol. 18, no. 24, pp. 10464–10472,
1998.
[9] R. A. P. Mazzoni and M. Jordan, “A more biologically plausible learning
rule for neural networks,” Neurobiology, vol. 88, pp. 4433–4437, 1991.