clasificaci´on mediante conjuntos - Escuela Politécnica Superior

6 CAPÍTULO 1. INTRODUCCIÓNde lo debido, temperatura, etc [Murray et al., 2005]; categorización de texto [Schapirey Singer, 2000]; detección automática de interpretes: sistema entrenado sobrepiezas de Chopin interpretadas por 22 pianistas expertos. El clasificador obtenido escapaz de identificar al interprete independientemente de la pieza que se le presentecon una precisión mucho mayor que la que pueda dar un humano [Stamatatos y Widmer,2005]; detección de fraude de clonación de tarjetas de móvil [Fawcett y Provost,1997].El objetivo de las investigaciones cuyos resultados se describen en este informe detesis es el desarrollo y mejora de herramientas de clasificación supervisada de caráctergeneral y aplicables a los problemas aquí expuestos. En concreto, el trabajo desarrolladoexplora diferentes aspectos de los conjuntos de clasificadores (ensembles of classifiers).Estas técnicas constituyen una de las cuatro direcciones fundamentales del aprendizajeautomático identificadas por Dietterich [Dietterich, 1998b]. En dicho artículo Dietterichpropone como problemas abiertos la mejora del error de clasificación mediante conjuntosde clasificadores, los métodos de escalado de algoritmos de aprendizaje supervisado,el aprendizaje por refuerzo y el aprendizaje de modelos estocásticos complejos. Eldesarrollo de conjuntos de clasificadores es un campo de investigación de gran actividadque ha dado lugar a multitud de publicaciones: [Freund y Schapire, 1995; Breiman,1996a; Quinlan, 1996a; Breiman, 1998; Schapire et al., 1998; Skurichina y Duin, 1998;Breiman, 1999; Bauer y Kohavi, 1999; Sharkey, 1999; Breiman, 2000; Dietterich, 2000b;Webb, 2000; Breiman, 2001; Rätsch et al., 2001; Fürnkranz, 2002; Rätsch et al., 2002;Bryll et al., 2003; Hothorn y Lausen, 2003; Kim et al., 2003; Chawla et al., 2004;Martínez-Muñoz y Suárez, 2004b; Valentini y Dietterich, 2004; Hall y Samworth, 2005;Martínez-Muñoz y Suárez, 2005b]. Esta gran actividad se debe sobre todo a las significativasmejoras en la precisión de clasificación que se pueden obtener con esta técnica desencilla implementación. Un conjunto de clasificadores clasifica nuevos ejemplos por decisiónconjunta de sus componentes. Las decisiones de los clasificadores individuales secombinan, mediante voto, para obtener una clasificación final. Normalmente, de esta combinaciónresulta un conjunto de clasificadores que tiene más precisión que cada uno de losclasificadores de los que está compuesto. Obviamente, si se combinan clasificadores similaresentre sí, la precisión del conjunto será aproximadamente igual a la de sus componentes.Por tanto, para mejorar el resultado de la clasificación por parte del conjunto, lo importantees generar clasificadores diversos cuyos errores no estén correlacionados, de forma que, alcombinarlos, los errores de éstos tiendan a compensarse.En esta tesis se proponen nuevos métodos de generación de conjuntos de clasificadoresy heurísticas para la mejora por ordenación y poda de conjuntos generados con bagging.En concreto, las contribuciones realizadas en el trabajo son:1. Se han propuesto tres nuevos métodos basados en el algoritmo de construcción deárboles Algoritmo de crecimiento y poda iterativos (IGP) [Gelfand et al., 1991]. Este