Técnicas de Classificação

More documents

Recommendations

Info

Como encontrar a melhor divisão? Sim Nodo N1 C0 C1 N10 N11 Antes da divisão: C0 N00 C1 N01 A? Não Nodo N2 C0 C1 N20 N21 Sim Nodo N3 C0 C1 M0 N30 N31 B? Não Nodo N4 M1 M2 M3 M4 C0 C1 N40 N41 Medida da impureza: GINI Índice Gini para um nó t : GII ( t) = 1 −∑ (Nota: p( j | t) é a freqüência relativa da classe j no nó t). j [ p( j | t)] – Máximo (1 - 1/n c ) quando os registros estão igualmente distribuídos entre todas as classes (pior) – Mínimo (0.0) quando todos os registros pertencem a uma classe (melhor) 2 M12 Ganho = M0 – M12 vs M0 – M34 M34 C1 0 C2 6 Gini=0.000 C1 1 C2 5 Gini=0.278 C1 2 C2 4 Gini=0.444 C1 3 C2 3 Gini=0.500 Exemplos do cálculo do índice GINI Divisão baseda no índice GINI C1 0 C2 6 GII( t) = 1 −∑ j [ p( j | t)] P(C1) = 0/6 = 0 P(C2) = 6/6 = 1 Gini = 1 – P(C1) 2 – P(C2) 2 = 1 – 0 – 1 = 0 2 Usado nos métodos CART, SLIQ, SPRINT. Quando um nó p é dividido em k partições (filhos), a qualidade da divisão é calculada como, GII split = k ∑ i = 1 ni GII ( i) n C1 1 C2 5 C1 2 C2 4 P(C1) = 1/6 P(C2) = 5/6 Gini = 1 – (1/6) 2 – (5/6) 2 = 0.278 P(C1) = 2/6 P(C2) = 4/6 Gini = 1 – (2/6) 2 – (4/6) 2 = 0.444 onde, n i = número de registros no filho i, n = número de registros no nó p.
10 Índice Gini para atributos categóricos Atributos contínuos: cálculo do índice Gini Multi-way split CarType Family Sports Luxury C1 1 2 1 C2 4 1 1 Gini 0.393 Binary split (find best partition of values) CarType {Sports, Luxury} {Family} C1 3 1 C2 2 4 Gini 0.400 CarType {Sports} {Family, Luxury} C1 2 2 C2 1 5 Gini 0.419 Usar decisão binária baseada em um valor Várias possibilidades para a escolha do valor de corte – Número de possíveis cortes = número de valores distintos Cada valor de corte tem uma matriz associada – Contadores de classe para cada partição possível, A < v and A ≥ v Método simples para escolher o melhor valor de corte – Para cada v, varra os dados para realizar a contagem e calcular o índice Gini – Computacionalmente ineficiente! Reptição do trabalho. Tid Refund Marital Status Taxable Income 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Cheat 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Atributos contínuos: cálculo do índice Gini Divisão baseada em entropia Para uma computação eficiente: para cada atributo contínuo, – Classifique os valores do atributo em ordem crescente – percorra os dados, atualizando a matriz de contadores e calculando o índice Gini – Escolha a posição de corte que tem o menor índice Gini Sorted Values Split Positions Cheat No No No Yes Yes Yes No No No No Taxable Income 60 70 75 85 90 95 100 120 125 220 55 65 72 80 87 92 97 110 122 172 230 Yes 0 3 0 3 0 3 0 3 1 2 2 1 3 0 3 0 3 0 3 0 3 0 No 0 7 1 6 2 5 3 4 3 4 3 4 3 4 4 3 5 2 6 1 7 0 Gini 0.420 0.400 0.375 0.343 0.417 0.400 0.300 0.343 0.375 0.400 0.420 = t Entropia em um nó t: Entropy ( t) −∑ p( j | t)log p( j | ) j (Nota: p( j | t) é a freqüência relativa da classe j no nó t). – Mede a homogeneidade de um nó. Máximo (log n c ) quando os registros estão igualmente distribuídos entre todas as classes Mínimo (0.0) quando todos os registros pertencem a uma classe – O cálculo baseado em entropia é similar ao baseado no índice Gini
Page 1 and 2: 10 10 Classificação: Definição
Page 3 and 4: 10 10 10 10 Aplicando o modelo nos
Page 5 and 6: 10 10 Estrutura geral do algorítmo
Page 7: Indução de árvores Como determin
Page 11 and 12: Entropia e Ganho de Informação Co
Page 13 and 14: Comparação entre os critérios de
Page 15: Super-especialização em função

Técnicas de Classificação

Create successful ePaper yourself

Delete template?

Save as template?