clasificaci´on mediante conjuntos - Escuela Politécnica Superior

5.4. ALGORITMOS DE ORDENACIÓN 103clasificador, seleccionado de acuerdo con una regla determinada. El orden aleatorio inicial(t = 1, 2, . . . , T ) de los clasificadores de bagging se reemplaza por un orden distinto(s 1 , s 2 , . . . s T ), donde s j es el índice de la posición original del clasificador que ocupa laposición j en la nueva ordenación del conjunto. Finalmente, se seleccionan los τ primerosclasificadores dependiendo del nivel de poda deseado.En esta sección vamos a simplificar la notación dada en el capítulo 2. La entrada de losalgoritmos de aprendizaje consiste en un conjunto de datos de entrenamiento etiquetados,ec. (2.1): L = {(x i , y i ), i = 1, 2, ..., N} donde x i es el vector de atributos e y i es la etiquetade clase. Por simplicidad consideraremos sólo problemas de clasificación binarios dondey ∈ {−1, 1}. Los resultados se pueden extender fácilmente a problemas con múltiplesclases. Como hemos visto, bagging genera una serie de hipótesis {h t (x) : t = 1, . . . , T },mediante diferentes remuestreos bootstrap de L. La decisión final de bagging se toma pormayoría de acuerdo con la ecuación de salida de la figura 2.6. Si asumimos clasificaciónbinaria donde h t (x) = ±1 la hipótesis combinada se puede expresar como)( T∑t=1H(x) = signoh t (x). (5.1)5.4.1. Ordenación basada en propiedades individualesSe han llevado a cabo una serie de experimentos preliminares para establecer si lascaracterísticas de los clasificadores individuales son medidas útiles para la ordenación delos conjuntos. En concreto, se han utilizado distintas estimaciones del error individual degeneralización de los clasificadores para establecer un orden dentro del conjunto:Ordenación usando el error de los clasificadores en el conjunto de entrenamiento.Ordenación usando el error en el conjunto out-of-bag de cada clasificador (ejemplosno utilizados por el clasificador al entrenar dejados fuera por el proceso de bootstrap[Breiman, 1996c]).Ordenación estimando el error en un conjunto independiente del conjunto de entrenamientoy de test y suficientemente grande.Hemos comprobado cómo el error en entrenamiento no es un indicador fiable del errorde generalización de cada clasificador y no conduce a ninguna ordenación útil del conjunto.Asimismo, tampoco ha llevado a ninguna ordenación válida el uso de un conjuntoindependiente del conjunto de entrenamiento como es el conjunto cambiante out-of-bag(este conjunto varía de un clasificador a otro). Los conjuntos out-of-bag presentan el problemaañadido de que la comparación de los errores individuales de distintos clasificadoresno es fiable debido a las fluctuaciones de muestreo de los distintos conjuntos out-of-bag.