Mineração de dados para inferência da relação solo ... - IAC

Como se pode visualizar, a estrutura de uma árvore de decisão é formada por:– folhas (nós puros), que correspondem às unidades a serem preditas.– nós internos, que correspondem aos atributos (especifica algum teste efetuado numúnico atributo, com duas ou mais sub-árvores que representam saídas possíveis);– ramos, que correspondem aos valores dos atributos.Os algoritmos de indução de árvores de decisão constroem os padrões a partirdos dados de treino, de uma forma recursiva efetuando a subdivisão do conjunto dedados até que este seja apenas composto por nós “puros”, ou seja, até que cada nórepresente apenas uma única classe ou satisfaça um determinado critério (QUINTELA,2005).O critério utilizado para realizar as partições é o da utilidade do atributo para aclassificação. Aplica-se, por este critério, um determinado ganho de informação a cadaatributo. O atributo escolhido como atributo teste para o corrente nó é aquele que possuio maior ganho de informação. A partir desta aplicação, inicia-se um novo processo departição. Nos casos em que a árvore é usada para classificação, os critérios de partiçãomais conhecidos são baseados na entropia (ONODA, 2001).Entropia é o cálculo do ganho de informação baseado em uma medida utilizadana teoria da informação (equações 1, 2, 3 e 4), na qual H é a entropia e U(y/x) o grau deincerteza da informação (equações 5 e 6), sendo y a variável a ser predita e x a original.A entropia caracteriza a pureza/impureza dos dados: em um conjunto de dados, é umamedida da falta de homogeneidade dos dados de entrada em relação a sua classificação.Por exemplo, a entropia é máxima quando x prediz totalmente y (igual a 1), ou seja,quando o conjunto de dados é heterogêneo (MITCHELL (1997); COIMBRA (2008)). Jáquando a entropia é 0, x e y não apresentam associação alguma.A entropia, H, de x e y é respectivamente:H ( x)= ∑ − p i. ln pie H ( y)= ∑ − p j. ln pj[1]onde i = 1,2.. n, nas classes de variáveis x; j = 1,2.. m, nas classes da variável y; p é aprobabilidade de ocorrência de uma classe; ln é o logaritmo natural.A entropia conjunta é:−∑H ( x,y)[2]= p i. ln pj ija entropia de x dado y é:20