Universidad Politécnica de Cartagena TESIS DOCTORAL “UNA ...

Capitulo 5. Modelo Neuronal para el aprendizaje progresivo de tareas de Agarre
el modelo a través de un algoritmo de aprendizaje por refuerzo propuesto por Barto y
col, 1983 y Sutton, 1988, que permite al sistema maximizar tanto el éxito como la
eficiencia de los agarres.
La arquitectura computacional de Fagg (Figura 5.4) puede describirse de la
siguiente manera: La información visual y la información asociada al tipo de tarea
constituyen las entradas al modelo y se representan como un patrón de actividad a lo
largo del conjunto de neuronas V. Se emplean un total de 11 neuronas en la capa V: tres
se emplean para representar el tipo de objeto (cilindro, cubo o cono), tres se emplean
para codificar el tamaño del objeto (pequeño, mediano, grande), otras tres para
representar su diámetro (estrecho, medio, ancho) y otras dos neuronas codifican el tipo
de acción a optimizar en el agarre (manipulabilidad o estabilidad). En el mono este tipo
de información visual la proporcionan regiones del córtex parietal posterior; la
información relativa al tipo de tarea a realizar proviene de una serie de regiones del
córtex prefrontal, del área motora suplementaria y del córtex promotor dorsal. Esta
información se proyecta a lo largo de un grupo de sinapsis (W) hacia una capa de
neuronas (F/G) que actúa como detector de características, y en la cual cada neurona
representa una característica de mayor nivel de abstracción que en la capa anterior (por
ejemplo, una característica que representa ‘cilindro’ y ‘manipulabilidad’ recibirá
conexiones desde las neuronas de la capa V correspondientes). La actividad de la
unidad Fj viene dad por la ecuación:
donde
( )
F = ∑ V ⋅ W + Ruido
(5.4)
j i ij j
i
Fj , es la actividad de la unidad j de la capa F/G
Vi , es el nivel de la actividad de la unidad de entrada i.
Wij , es el valor de la conexión entre la unidad de entrada i y la unidad j F/G.
Ruidoj , es una señal aleatoria que se inyecta en el detector de la características j.
Estos detectores de características interaccionan a través de mecanismos de competición
local para resaltar las diferencias de actividad entre todas las neuronas de la capa. En la
implementación de Fagg este paso se resuelve con una operación de máximo realizada
localmente. La salida G de la capa F/G se computa de la siguiente manera: Gj vale Fj si Fj
= Max{ F l}
; para valores de l que están comprendidos en el intervalo [j-N j+N] y cero en
cualquier otro caso. Tras esta operación los detectores de características de la capa F/G
que queden activos ‘votan’ para la configuración que se impone a la mano haciendo
pasar su actividad hacia las unidades de salida L:
216