clasificaci´on mediante conjuntos - Escuela Politécnica Superior

80 CAPÍTULO 4. ALTERACIÓN DE ETIQUETAS DE CLASEnivel con valores 0.2 y 0.6. La pareja de líneas para el valor de margen 0.2 aparece muycerca de la frontera de decisión, mientras que las curvas de nivel de valor 0.6 tienen una estructuracompleja y llenan practicamente todo el espacio de características. Para el conjuntoclass-switching con p = 0.4 sólo aparecen las curvas de nivel para márgenes de 0 (fronterade decisión) y 0.2. Para este conjunto no existen puntos donde el margen sea 0.6 o mayor.Las diferencias de los mapas de margen entre los distintos conjuntos es clara en esta figura:bagging genera amplias zonas contiguas donde todos los clasificadores están de acuerdo yun borde de incertidumbre bastante estrecho. Boosting genera una frontera más precisa acosta de márgenes menores en las zonas adyacentes a la frontera (el borde de incertidumbrees mayor). Ambos conjuntos, bagging y boosting tienen progresivamente valores más altosdel margen cuando nos desplazamos a regiones más alejadas de la frontera de decisión.El algoritmo class-switching genera una distribución de puntos con el mismo margen másdeslocalizada. Asintóticamente, según crece el número de clasificadores del conjunto, elmapa de margen consiste en amplias mesetas con un valor constante ≈ 1 − 2p de margen,separado por zonas estrechas de margen a lo largo de la frontera de decisión con valoresmenores de margen.4.4. Experimentos en conjuntos UCIPara evaluar las mejoras de clasificación que se pueden obtener usando los conjuntosclass-switching, hemos comparado la precisión de este método con C4.5, el métodoflipping de Breiman [Breiman, 2000], boosting y bagging. Todos los conjuntos se han generadousando C4.5 Release 8 como algoritmo base. Para C4.5, bagging y boosting basadosen C4.5 se han usado las opciones por omisión del paquete C4.5. Para construir los conjuntosclass-switching y flipping no hemos utilizado el término de penalización basado en elprincipio de longitud de descripción mínima (Minimum Description Length) que se aplicaa los atributos cuantitativos. C4.5 con este término de penalización generalmente construyeárboles mejores y más pequeños [Quinlan, 1996b]. Sin embargo, el uso de este criterio detienela construcción del árbol C4.5 antes de que se obtengan todos los nodos hojas puros.Por tanto, no cumple el requisito para los conjuntos class-switching, que consiste en tenererror cero (o aproximadamente cero) en el conjunto de entrenamiento. También hemosfijado el número mínimo de ejemplos por nodo hoja a 1 y se usan árboles desarrolladoscompletamente (sin poda). Esta configuración es similar a la implementación de Breimande los conjuntos flipping [Breiman, 2000] en la que usaba árboles CART sin podar [Breimanet al., 1984].La variante de boosting implementada está descrita en la sección 2.6.1 y es básicamentela misma utilizada en [Webb, 2000]. Se ha utilizado reponderación (en vez de remuestreo),como se sugiere en [Quinlan, 1996a]. Esto permite que todos los ejemplos estén incluidosen la construcción de cada elemento del conjunto. El peso mínimo para un ejemplo se ha