clasificaci´on mediante conjuntos - Escuela Politécnica Superior

2.2. ÁRBOLES DE DECISIÓN: CART Y C4.5 23el árbol T (v) . Para ello es suficiente calcular la familia de árboles podados que minimizanla ec. (2.15) para cada intervalo posible de α para L (v) tal como viene definido en la ec.(2.16). Posteriormente se elige, de la familia de árboles generados, el árbol que tenga menorerror para el conjunto de datos L v estimado con la ec. (2.12). El árbol con error mínimodefinirá el intervalo de poda α para el árbol T (v) .Sin embargo, es necesario estimar el valor de α óptimo para podar el árbol T construidocon todos los datos. Se podría utilizar la media de los α obtenidos para cada uno de los Várboles T (v) para podar el árbol T . El problema que presenta esta solución es que los distintosvalores de α para los árboles T (v) y para el árbol T no tienen por qué ser equivalentes,por lo que la media de los α óptimos de los árboles T (v) puede dar un valor inválido paraT . Se deberá buscar, por tanto, un valor de α de entre los intervalos de α que determinan lapoda del árbol T . La solución que adopta CART es la siguiente: para cada uno de los árbolesT (v) y para un valor de α dentro de cada uno de los intervalos de α de T se obtiene elárbol podado T (v) (α) utilizando los datos L (v) siguiendo el criterio de poda de la ecuación(2.15). A continuación se estima el error de cada uno de estos árboles T (v) (α) con respectoal conjunto de datos independientes L v con la ec. (2.12). Finalmente se elige el valor de αque minimiza el error medio de los árboles podados T (v) (α), esto esmínkR cv (T ∗ 1) = mínk VV∑R v (T (v) ( √ α k α k+1 )) , k = 1, 2, . . . , K − 1 (2.18)v=1donde R v es el error cometido con respecto al conjunto de datos L v utilizando la ecuación(2.12) y donde los valores de α dentro de cada intervalo de poda del árbol T utilizadosvienen dados por √ α k α k+1 . El valor de α que minimiza la ec. (2.18) junto con la ec. (2.15)nos determinan el árbol T (α) podado a partir de T .El algoritmo C4.5 usa criterio de poda basado en una estimación pesimista del errorde cada nodo (poda basada en error). Para ello substituye el número de errores cometidosen cada nodo por el límite superior de confianza de una distribución binomial (donde losejemplos del nodo N(t) son los ensayos y los errores del nodo M(t, L) son los “éxitos”de la distribución binomial) multiplicado por el número de ejemplos del nodo N(t). En laexhaustiva comparativa de distintos métodos de poda realizada por Esposito et al. observaronque la poda basada en error de C4.5 tiende a podar menos de lo necesario mientras quela poda de coste-complejidad de CART tiende a generar árboles más pequeños de la podaóptima [Esposito et al., 1997]. La poda pesimista que implementa C4.5 tiene la ventaja deque es computacionalmente muy rápida aunque en determinados problemas genera árbolesque no generalizan bien [Mingers, 1989a]. Por otro lado la poda por validación cruzadade coste-complejidad es más lenta pero presenta la ventaja de proporcionar una familia deárboles que puede ser analizada y comparada por un experto humano [Mingers, 1989a].