clasificaci´on mediante conjuntos - Escuela Politécnica Superior

104 CAPÍTULO 5. ORDEN DE AGREGACIÓN Y PODA EN BAGGINGEn cualquier caso, el uso de un conjunto de validación fijo para todos los clasificadores ysuficientemente grande tampoco conduce a ninguna ordenación que produzca una mejoraapreciable en el error de generalización. Basándonos en estos resultados, concluimos queordenaciones guiadas por las capacidades individuales de los clasificadores del conjunto nollevan a la identificación de un subconjunto que supere al conjunto generado por baggingcompleto. Para diseñar una regla de ordenación válida es necesario tener en cuenta la complementariedadde los clasificadores. De hecho, el combinar clasificadores muy precisospero muy similares no se obtienen mejoras en la clasificación, mientras que si se combinanclasificadores diversos que compensan sus errores sí que se obtiene una mejora en laclasificación.5.4.2. Algoritmos de ordenación codiciososLos métodos de ordenación efectivos han de tener en cuenta la complementariedadentre los distintos elementos del conjunto para realizar la ordenación. Un clasificador individualpuede tener un error alto de clasificación pero su contribución puede ser importanteal combinarlo con otros clasificadores [Esposito y Saitta, 2003; 2004]. A continuación sedescriben las reglas de ordenación propuestas que siguen una estrategia codiciosa y que soneficaces para la reducción del error de generalización como veremos en la sec. 5.5. Estasreglas son: reducción de error, complementariedad, minimización de distancias de margen,ordenación por ángulos y ordenación basada en boosting. Estas reglas usan un conjunto deselección compuesto de N sel ejemplos L sel = {(x i , y i ), i = 1, 2, ..., N sel }, que en principiopuede conincidir con el conjunto de entrenamiento.Reducción de errorEste método es equivalente al presentado en [Margineantu y Dietterich, 1997] sin reajuste(backfitting). Funciona como sigue: (i) se inicializa la secuencia eligiendo el clasificadorcon menor error en el conjunto de datos de selección; (ii) a continuación se añadenclasificadores uno a uno de forma que se minimice el error del conjunto parcial de clasificadoresen el conjunto L sel . Por consiguiente, el clasificador seleccionado en la iteración ues el que maximiza la expresión()∑N sel∑u−1s u = argmax signo h k (x i ) + h st (x i ) y i , (5.2)ki=1donde el índice k tiene como rango las etiquetas de los clasificadores que no han sidoincluídos en el subconjunto de tamaño u − 1.t=1