clasificaci´on mediante conjuntos - Escuela Politécnica Superior

7algoritmo genera un árbol de decisión mediante la división de los datos de entrenamientoen dos subconjuntos. Una vez dividido el conjunto, se usa uno de los subconjuntospara hacer crecer el árbol y el otro para podarlo. El proceso se repite hastaalcanzar la convergencia, intercambiando los papeles de los conjuntos de datos encada una de las iteraciones. Los métodos propuestos basados en IGP aprovechan elhecho de que distintas divisiones de los datos generan árboles diferentes. Esto permiteque clasificadores generados con distintas particiones iniciales del conjunto deentrenamiento se puedan combinar para formar un conjunto de clasificadores, sinque sea necesario realizar remuestreos o introducir perturbaciones en el algoritmode construcción del árbol, que generalmente reducen la capacidad de generalizaciónde los árboles individuales generados. Los experimentos realizados ilustran que losmétodos propuestos basados en el algoritmo IGP dan resultados equivalentes o mejoresque otros métodos existentes (bagging y boosting) en los conjuntos de datosexplorados. Presentan además un importante ahorro computacional respecto a conjuntoscreados con árboles CART.2. La diversidad entre los clasificadores incluidos en un conjunto de clasificadores esuno de los aspectos clave en el diseño de conjuntos de clasificadores [Dietterich,2000a]. Se han realizado numerosos análisis sobre la dependencia entre la diversidadde los clasificadores individuales que forman parte del conjunto y la capacidad degeneralización del conjunto [Dietterich, 2000b; Kuncheva y Whitaker, 2003]. A partirde estos trabajos y de un artículo de Breiman en el que se propone la modificaciónde las etiquetas de clase para generar conjuntos de clasificadores [Breiman, 2000], seha propuesto un nuevo método de construcción de conjuntos de clasificadores. Estealgoritmo, denominado class-switching, genera clasificadores con errores de entrenamientono correlacionados mediante el uso de datos de entrenamiento en los quese han realizado modificaciones aleatorias de las etiquetas de clase. Asimismo, semuestra que para problemas de dos clases la evolución del error en el conjunto deentrenamiento con el número de clasificadores del conjunto class-switching se puededescribir como un proceso de Bernoulli. El modelo de este proceso es independientedel problema de clasificación. Por otro lado el método class-switching muestra erroresde generalización menores que bagging y equivalentes o menores que boostingen los conjuntos de datos analizados. Para alcanzar el nivel asintótico de error delconjunto es necesario generar conjuntos con un número elevado de clasificadores (entorno a 1000 clasificadores en los conjuntos estudiados).3. Los conjuntos de clasificadores normalmente muestran un error de generalizaciónque inicialmente disminuye a medida que se incrementa el número de clasificadoresincluidos en el conjunto. Asintóticamente el error se estabiliza en un valor constante.Basándonos en las correlaciones entre los clasificadores del conjunto planteamos lahipótesis de que se puede modificar el orden de agregación original del conjunto de