clasificaci´on mediante conjuntos - Escuela Politécnica Superior
Share Embed Flag
Download ePaper

clasificaci´on mediante conjuntos - Escuela Politécnica Superior

clasificaci´on mediante conjuntos - Escuela Politécnica Superior clasificaci´on mediante conjuntos - Escuela Politécnica Superior

ii.uam.es
13.07.2015 Views

16 CAPÍTULO 2. CLASIFICACIÓNFigura 2.2: Ejemplo de árbol de decisiónque genera el árbol de la parte inferior de la figura. Este árbol de decisión representa unasolución posible para la división de ambas clases. Como se puede observar en el ejemplode la figura 2.2 los árboles de decisión también se pueden representar como reglas. En esteejemplo el árbol de decisión corresponde a la reglaSi x 1 > 5 y x 2 > 2la clase es CuadradoEn caso contrario la clase es Círculo .Esta correspondencia entre los árboles de decisión y conjuntos de reglas es una ventaja a lahora de la interpretación del modelo y de las decisiones generadas por el mismo.Para conseguir la partición del espacio de atributos en regiones correspondientes a lasdistintas clases, los árboles de decisión utilizan una estrategia del tipo divide y vencerás.El resultado es que el espacio de atributos es segmentado. Para los atributos cuantitativos,

2.2. ÁRBOLES DE DECISIÓN: CART Y C4.5 17la estrategia más utilizada es dividir el espacio mediante hiperplanos, aunque también sepodría dividir utilizando separaciones no lineales [Ittner y Schlosser, 1996]. En el ejemplode la figura 2.2, dado que es un espacio bidimensional, estas divisiones son rectas. Paralos atributos categóricos, las divisiones se realizan mediante particiones en subconjuntosde los distintos valores de los atributos. Las divisiones del espacio de atributos cuantitativosse pueden realizar utilizando bien hiperplanos de separación ortogonales a los ejes obien oblicuos. Las divisiones ortogonales corresponden a preguntas sobre sólo uno de losatributos del espacio (como en el ejemplo de la figura 2.2) y son de la forma “¿x m ≤ c?”donde m es el índice del atributo y el umbral de decisión, c, está dentro del rango de valoresque puede tomar el atributo x m . Estas divisiones se pueden calcular rápidamente porlo que se utilizan en la mayoría de algoritmos de creación de árboles de decisión. Otroposible método, implementado en CART, consiste en hacer divisiones oblicuas a los ejes.Estas divisiones corresponden a preguntas sobre el valor de una combinación lineal de losatributos (“¿ ∑ Nm=1 a mx m ≤ c?”). Las divisiones oblicuas son mucho más expresivas quelas divisiones paralelas a los ejes y pueden reflejar de manera más precisa las distribucionesde los datos. Las divisiones ortogonales son un caso particular de las oblicuas en las quetodos los coeficientes excepto uno son nulos. Sin embargo el cálculo de la división oblicuaóptima en cada nodo es más complicado, ya que el espacio de búsqueda de posiblesdivisiones es mayor. En CART las divisiones oblicuas se calculan con un método bastanteeficaz y eficiente pero que no garantiza que la división sea óptima. En cualquier caso, elcoste computacional de este tipo de divisiones es mucho mayor que el de las divisionesortogonales. Además el hecho de utilizar tests más expresivos puede llevar a un sobreajustea los datos de entrenamiento.Para los atributos categóricos CART realiza preguntas de la forma “¿x m ∈ V ?” dondeV en un subconjunto de todos los posibles valores que puede tomar el atributo x m . C4.5puede generar divisiones de los atributos categóricos para cada nodo interno en más de dossubconjuntos y consecuentemente se obtienen más de dos nodos hijo.La jerarquía de tests divide el espacio de atributos en regiones disjuntas: cada ejemplose asigna a un solo nodo hijo dependiendo de la respuesta al test en el nodo padre. Otraposible arquitectura son los árboles de decisión borrosos donde cada ejemplo es asignadoa todos los nodos hijos con un distinto grado de pertenencia [Chang y Pavlidis, 1977;Quinlan, 1993; Janikow, 1998; Suárez y Lutsko, 1999; Haskell et al., 2004].El tipo y los parámetros de la pregunta que determinan la división del espacio U(t) deun nodo cualquiera t se eligen mediante la minimización de una función local de coste. Estafunción debe dividir el espacio U(t) en dos regiones, U(t L ) y U(t R ), donde exista mayorhomogeneidad de clases. El uso del error como función de coste podría parecer a priori laelección más acertada. Sin embargo, este criterio presenta dos inconvenientes [Breiman etal., 1984]. El primero consiste en que es posible que ninguna de las divisiones posibles delespacio reduzca el error. Esto ocurre cuando en el nodo padre hay mayoría de ejemplos deuna clase y todas las divisiones conducen a nodos hijos con mayoría de la misma clase.

16 CAPÍTULO 2. CLASIFICACIÓNFigura 2.2: Ejemplo de árbol de decisiónque genera el árbol de la parte inferior de la figura. Este árbol de decisión representa unasolución posible para la división de ambas clases. Como se puede observar en el ejemplode la figura 2.2 los árboles de decisión también se pueden representar como reglas. En esteejemplo el árbol de decisión corresponde a la reglaSi x 1 > 5 y x 2 > 2la clase es CuadradoEn caso contrario la clase es Círculo .Esta correspondencia entre los árboles de decisión y <strong>conjuntos</strong> de reglas es una ventaja a lahora de la interpretación del modelo y de las decisiones generadas por el mismo.Para conseguir la partición del espacio de atributos en regiones correspondientes a lasdistintas clases, los árboles de decisión utilizan una estrategia del tipo divide y vencerás.El resultado es que el espacio de atributos es segmentado. Para los atributos cuantitativos,

logo

productos

Resources

Compañías

Terms of service
Privacy policy
Cookie policy
Cookie settings
Imprint
Change language
Made with love in Switzerland
© 2024 Yumpu.com all rights reserved

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!