clasificaci´on mediante conjuntos - Escuela Politécnica Superior

52 CAPÍTULO 3. CONJUNTOS DE ÁRBOLES IGPgeneralización de los clasificadores individuales. Así por ejemplo en bagging se descartandatos de entrenamiento para generar cada clasificador individual. En boosting se modificala distribución de los pesos de los ejemplos, lo que puede llevar a generar clasificadoresque ajustan correctamente los datos con los pesos modificados pero que obtienen un errorelevado en el problema original.En este capítulo se presentan tres nuevos métodos de construcción de clasificadoresque introducen diversidad sin reducir la eficiencia del algoritmo base. Se basan en la variabilidadintrínseca del algoritmo de crecimiento y poda iterativos (Iterative Growing andPruning Algorithm, IGP) [Gelfand et al., 1991], un método de construcción de árboles dedecisión basado en repetir secuencias de crecimiento y poda. IGP genera árboles de decisióndividiendo los datos de entrenamiento en dos subconjuntos de aproximadamente igualtamaño y distribución de clases. IGP usa iterativamente uno de los subconjuntos para hacercrecer el árbol y el otro para podarlo, intercambiando los papeles de los subconjuntos en cadaiteración. Este algoritmo tiene la propiedad de que, a pesar de partir del mismo conjunto,distintas divisiones de los datos de entrenamiento generan árboles distintos. La inestabilidaddel algoritmo IGP junto con el hecho de que se utilizan todos los datos para construircada clasificador individual debería permitir construir conjuntos con buena capacidad degeneralización.3.2. Algoritmo de aprendizaje3.2.1. Algoritmo base, árboles IGPEl algoritmo de crecimiento y poda iterativos es un algoritmo desarrollado por Gelfandet al. para la construcción de árboles de decisión [Gelfand et al., 1991]. Este algoritmotiene la propiedad, al igual que CART [Breiman et al., 1984], de que utiliza todos los datospara hacer crecer y para podar el árbol. El pseudocódigo del algoritmo IGP se muestra enla figura 3.1.Previamente a la construcción de un árbol con IGP se divide el conjunto de datos deentrenamiento L en dos subconjuntos, L 1 y L 2 , de aproximadamente igual tamaño y condistribuciones de clases aproximadamente iguales. Una vez divididos los datos, el algoritmoIGP utiliza uno de los subconjuntos para hacer crecer el árbol y el otro para podarlo. Lasecuencia de crecimiento y poda es repetida intercambiando los papeles de los subconjuntosen cada iteración. Es decir, primero se genera un árbol T 0 usando L 1 , una vez generadoel árbol T 0 , éste se poda hasta el tamaño óptimo T ∗ 0 con respecto al subconjunto L 2 . Unavez que la primera poda se ha completado, los papeles de los subconjuntos de datos sonintercambiados y se hace crecer un nuevo árbol T 1 a partir de los nodos terminales de T ∗ 0utilizando L 2 . A continuación T 1 se poda a su tamaño óptimo con respecto a L 1 . Los papelesde los subconjuntos de crecimiento y de poda se van intercambiando hasta que dosárboles podados consecutivos son de igual tamaño. Se ha demostrado que esta secuencia