clasificaci´on mediante conjuntos - Escuela Politécnica Superior

34 CAPÍTULO 2. CLASIFICACIÓNcon seguridad la clase de cada nuevo ejemplo. Para reducir el error al mínimo en las zonasde solapamiento hay que clasificar cada punto de acuerdo a la distribución más probable:esto define el error mínimo de Bayes (ec. (2.5)). Sin embargo, para conjuntos de datosreales, en los que desconocemos las distribuciones de los datos y donde disponemos de unnúmero limitado de ejemplos, el cálculo de este límite inferior puede no ser posible. Nosucede así en conjuntos de datos generados artificialmente para los que disponemos de lasreglas que generan los datos y por tanto el error de Bayes se puede calcular o estimar conprecisión. La dificultad que existe en determinar el error de Bayes hace que muchas de lasdefiniciones de sesgo y varianza engloben de alguna manera el error de Bayes dejando ladefinición del error como sigueError = sesgo + varianza . (2.21)Los otros dos miembros de la ecuación (2.20), sesgo y varianza, son la parte del errorcausada por el algoritmo de clasificación. El sesgo indica la parte del error debida a latendencia central del algoritmo errónea, mientras que la varianza determina la parte delerror debida a desviaciones en relación a la tendencia central del algoritmo. Se define latendencia central de un algoritmo de clasificación para un vector x como la clase con mayorprobabilidad de selección por los clasificadores construidos a partir de la distribución deposibles conjuntos de entrenamiento.La medida de estas dos cantidades es útil para analizar la naturaleza del error de unalgoritmo. Por una parte las diferencias en las predicciones que hace un algoritmo cuando esentrenado con distintos conjuntos de entrenamiento, dado que sólo hay una clase correcta,limita el error mínimo que podemos alcanzar (varianza). Por otra parte el diseñar algoritmosque presenten pocas variaciones para distintos conjuntos de entrenamiento no es garantíade una disminución del error, ya que puede ser que el algoritmo sea también estable en elerror. Es decir, que tenga una tendencia central errónea (sesgo).Para muchos algoritmos de conjuntos de clasificadores se han efectuado medidas delsesgo y la varianza, y se han comparado con el sesgo y varianza del algoritmo base [Bauer yKohavi, 1999; Breiman, 1996b; Webb, 2000; Breiman, 2000]. De esta forma se puede explicarel origen de la disminución del error con respecto al algoritmo base. Generalmente, losalgoritmos de conjuntos de clasificadores tienden a disminuir el error de varianza, ya queel proceso de votación hace que éstos sean más estables en sus decisiones que los clasificadoresindividuales. Además, los conjuntos de clasificadores que usan procesos adaptativospara generarse (ej. boosting) también pueden reducir el sesgo, ya que el proceso adaptativohace que no cometan siempre los mismos errores (realmente también podrían aumentar elsesgo cuando los conjuntos de entrenamiento tienen datos etiquetados incorrectamente).El hecho de que sesgo y varianza no estén bien definidos para problemas de clasificaciónha llevado a la aparición de múltiples definiciones como se puede ver en [Webb,2000]. De entre ellas aquí mostramos la definición de Breiman [Breiman, 1996b] por ser