clasificaci´on mediante conjuntos - Escuela Politécnica Superior

24 CAPÍTULO 2. CLASIFICACIÓN2.3. Conjuntos de clasificadoresLos conjuntos de clasificadores (ensembles of classifiers) son sistemas que clasificannuevos ejemplos combinando las decisiones individuales de los clasificadores delos que están compuestos. Los conjuntos de clasificadores se construyen en dos fases:en una primera fase, la fase de entrenamiento, se genera una serie de clasificadores(a cada uno de ellos lo denominaremos clasificador individual o clasificador base)con un algoritmo concreto (que denominaremos algoritmo base). En una segunda fasese combinan las distintas hipótesis generadas. La precisión del conjunto puede ser muchomayor que la precisión de cada uno de los miembros en los que está compuestocomo han demostrado multitud de estudios [Freund y Schapire, 1995; Breiman, 1996a;Quinlan, 1996a; Breiman, 1998; Schapire et al., 1998; Skurichina y Duin, 1998; Breiman,1999; Bauer y Kohavi, 1999; Sharkey, 1999; Breiman, 2000; Dietterich, 2000b;Webb, 2000; Breiman, 2001; Rätsch et al., 2001; Fürnkranz, 2002; Rätsch et al., 2002;Bryll et al., 2003; Hothorn y Lausen, 2003; Kim et al., 2003; Chawla et al., 2004;Martínez-Muñoz y Suárez, 2004b; Valentini y Dietterich, 2004; Hall y Samworth, 2005;Martínez-Muñoz y Suárez, 2005b]. Esta mejora se podrá obtener únicamente si los clasificadoresindividuales son suficientemente diversos: combinar clasificadores idénticos noconlleva ninguna mejora; de hecho se obtendría la misma respuesta que cada clasificadorbase. Por tanto para construir un conjunto de clasificadores, hay que elegir el algoritmo basey diseñar una metodología que sea capaz de construir clasificadores que cometan erroresdistintos en los datos de entrenamiento.Las distintas técnicas desarrolladas para la generación de conjuntos de clasificadores(primera fase) se pueden agrupar en [Dietterich, 1998b; 2000a]:Técnicas basadas en remuestreo de los datos de entrenamiento: Algunos delos métodos de generación de conjuntos de clasificadores más importantes, comoboosting [Freund y Schapire, 1995] y bagging [Breiman, 1996a], pertenecen aestá categoría. Este grupo de técnicas introduce perturbaciones en los datos de entrada(eliminación de ejemplos, repetición de ejemplos, distintas ponderaciones delos ejemplos, etc.) para obtener cada uno de los clasificadores individuales. La variabilidadrequerida dentro del conjunto es obtenida mediante modificaciones de ladistribución de entrenamiento (que se supone debe parecerse a la distribución real)y así inducir variaciones en los clasificadores individuales. Para que se genere lasuficiente variabilidad entre clasificadores, el algoritmo base debe tener una ciertainestabilidad frente a los cambios. Los árboles de decisión poseen características quelos convierte en buenos algoritmos base para este grupo de técnicas ya que pequeñasvariaciones en los datos de entrenamiento pueden hacer que las estructuras de losárboles generados sean completamente diferentes.Generalmente se considera que los algoritmos de clasificación vecino más próximoy discriminante lineal no son adecuados [Breiman, 1996a; Dietterich, 1998b].