clasificaci´on mediante conjuntos - Escuela Politécnica Superior

2.3. CONJUNTOS DE CLASIFICADORES 25Estos clasificadores son bastante estables frente a modificaciones de los datos deentrenamiento y no se obtendría la variedad de clasificadores necesaria para que elconjunto generado mejore la capacidad de generalización del clasificador base. Bajodeterminadas condiciones, se pueden construir conjuntos de discriminantes linealesque mejoran el rendimiento de un sólo clasificador. Esto se consigue solamente ensituaciones donde el clasificador lineal se hace muy inestable, como se muestra experimentalmenteen la referencia [Skurichina y Duin, 1998]. En otra referencia de losmismos autores [Skurichina y Duin, 2002] se hace un estudio detallado de distintostipos de discriminantes lineales y de conjuntos de clasificadores (bagging, boostingy subespacios aleatorios) para hacer una “guía de uso”. En esta guía indican conqué conjuntos de clasificadores se pueden obtener mejoras respecto al discriminantelineal individual dependiendo del tamaño del conjunto de entrenamiento. Vecinomás próximo junto con bagging estándar obtiene los mismos resultados que vecinomás próximo ejecutado sobre todos los datos [Breiman, 1996a]. Sin embargo, se havisto recientemente que se pueden obtener mejoras significativas combinando vecinomás próximo junto con bagging siempre que el tamaño del conjunto remuestreadocontenga menos del 50 % de los ejemplos originales. Además se puede demostrarque si el porcentaje de remuestreo tiende a 0 mientras que los datos de entrenamientotienden a infinito entonces el error del conjunto de bagging con vecinos próximostiende al error de Bayes [Hall y Samworth, 2005].Boosting construye clasificadores mediante la asignación de pesos a los ejemplosde forma adaptativa. En cada iteración de boosting se construye un clasificador queintenta compensar los errores cometidos previamente por otros clasificadores. Paralograr que cada nuevo clasificador mejore los resultados en regiones donde fallan losanteriores se utiliza un conjunto de datos ponderado cuyos pesos son actualizadostras cada iteración: se incrementan los pesos de los ejemplos mal clasificados por elúltimo clasificador y se reducen los pesos de los bien clasificados. Boosting puede obien utilizar todos los ejemplos ponderados para construir cada clasificador (boostingcon reweighting), o bien hacer un remuestreo ponderado (boosting con resampling)donde tengan más probabilidad de aparecer en la muestra los ejemplos con mayor peso.En cualquier caso, el algoritmo de clasificación base se encuentra con un conjuntode entrenamiento con ejemplos con distinta importancia relativa. De hecho, cada nuevoclasificador individual se centra en la clasificación de los ejemplos más difícilesque han sido erróneamente clasificados por los clasificadores previos. Boosting esuno de los métodos más eficientes para la construcción de conjuntos de clasificadores.Sin embargo, presenta dificultades de generalización en algunos problemas ycuando los datos tienen ruido en la asignación de etiquetas de clase [Quinlan, 1996a;Opitz y Maclin, 1999; Dietterich, 2000b].