clasificaci´on mediante conjuntos - Escuela Politécnica Superior

110 CAPÍTULO 5. ORDEN DE AGREGACIÓN Y PODA EN BAGGINGEntradas:Conjunto de entrenamiento L sel de tamaño NConjunto H compuesto de T clasificadoresSalida:{h s1 , h s2 , . . . , h sT }1. Asignar w 1 [i] = 1/N, i = 1, . . . , N2. for u=1 to T {//Obtiene el aprendiz con menor error ponderado3. h su = SeleccionaClasificador(H, L sel , w u )4. ɛ u = Error(h su , L sel , w u )5. β u = ɛ u /(1 − ɛ u )6. if (ɛ u ≥ 0.5) {7. Asignar pesos w u+1 [i] = 1/N, i = 1, . . . , N8. continue9. }11. Extraer h su de H12. for j=1 to N {13. if (h su (x j ) ≠ y j ) then w u+1 [j] = w u [j]/2ɛ u14. else w u+1 [j] = w u [j]/2(1 − ɛ u )15. }16. }Figura 5.5: Pseudocódigo de ordenación basada en boostingPoda basada en boostingEsta regla de poda se basa en utilizar el esquema de ponderación de los ejemplos delalgoritmo AdaBoost [Freund y Schapire, 1995] para determinar el orden en que se agreganlos clasificadores. En la figura 5.5 se presenta el pseudocódigo de la ordenación basadaen boosting. Se parte de un conjunto de clasificadores H generados con bagging y unconjunto de datos L. El núcleo del algoritmo es similar a boosting (figura 2.7). Sin embargo,en vez de generar en cada iteración una hipótesis a partir del conjunto de entrenamientoponderado, se selecciona ésta de entre los clasificadores aún no seleccionados provenientesde un conjunto bagging. En concreto se elige el clasificador con el menor error ponderadoen el conjunto de entrenamiento (paso 3). En cada iteración el algoritmo actualiza los pesosde los ejemplos: los pesos de los ejemplos clasificados correctamente (incorrectamente) porel último clasificador seleccionado se decrementan (incrementan) del mismo modo que enAdaBoost. Para evitar que el algoritmo pare prematuramente en caso de que no se encuentre