clasificaci´on mediante conjuntos - Escuela Politécnica Superior

68 CAPÍTULO 3. CONJUNTOS DE ÁRBOLES IGPCART necesita construir árboles auxiliares para la poda (validación cruzada con 10 árboles).Además los árboles IGP sólo usan la mitad de los datos tanto para generar como parapodar el árbol.3.4. ConclusionesEs este capítulo se han presentado y analizado tres nuevos métodos para la construcciónde conjuntos de clasificadores: conjunto IGP, boosting IGP y Comités IGP. Todos ellosestán basados en el algoritmo de generación de árboles de decisión de crecimiento y podaiterativos (IGP) [Gelfand et al., 1991].Se ha observado que el conjunto IGP genera de forma natural un conjunto de clasificadoresdiversos sin necesidad de añadir aleatoriedad espuria en el conjunto de datos oen el procedimiento de aprendizaje. Los experimentos realizados en problemas estándarde la colección UCI muestran cómo los conjuntos de clasificadores generados asignandode manera aleatoria los ejemplos de entrenamiento a cada uno de los dos subconjuntosutilizados en el algoritmo IGP obtienen mejoras de clasificación respecto a conjuntos declasificadores generados con bagging utilizando CART como algoritmo base. Esto indicaque el conjunto IGP obtiene clasificadores suficientemente diversos a pesar de que todos seconstruyen usando los mismos ejemplos de entrenamiento.Además, se puede observar que cuando se incrementa el tamaño del conjunto de entrenamientose incrementa la mejora dada por el conjunto IGP con respecto a bagging CARTen el conjunto sintético Waveform. Esta mejora parece tener su explicación en el incrementode la diferencia de tamaño de los árboles generados. El algoritmo IGP ha obtenido en laspruebas realizadas árboles más grandes en promedio que CART. Las diferencias de errorobservadas varían en paralelo con las diferencias de tamaño en los árboles generados porlos algoritmos. Estas diferencias tanto en el tamaño de los árboles generados como en elerror se incrementan a medida que aumenta el número de ejemplos de entrenamiento.La variante de boosting con árboles IGP propuesta obtiene, en la mayoría de los problemasanalizados, un error menor que los algoritmos tipo bagging, pero presenta equivalenteso peores resultados que boosting basado en CART. Una posible explicación es que la modificaciónde los pesos dentro de los dos grupos de datos no consigue en la misma medidaque boosting que cada ejecución se centre más en los datos mal clasificados por los clasificadoresbase previamente generados.Asimismo, se ha mostrado que los Comités IGP obtienen resultados excelentes en losproblemas explorados. En la mayoría de problemas analizados, los errores de clasificaciónson equivalentes a boosting CART y, además, no presenta los problemas de generalizaciónque tiene boosting en algunos conjuntos con ruido. Parece que los comités de árbolesIGP consiguen el comportamiento robusto de bagging para no aumentar el error del algoritmobase y, al mismo tiempo, mantienen la eficacia de boosting para reducir el error en