Clase 4 - Pedeciba

3.2.1 Clasificación mediante la distancia de Mahalanobis 1Clasificación mediante la distancia de MahalanobisEjemplo I. n = 100 datos de P 1 , x 1 ∈ N 2[(µ 1 ; Σ 1 ), y de P 2 con x 2 ∈ N 2 (µ 2 ; Σ 2 )µ 1 = (0, 0) ′ , Σ 1 = I, µ 2 = (4, 0) ′ 1 1/ √ ] [3y Σ 2 =1/ √ 1 0 ′ ]58≈3 10 ′ .58 1Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 2Dada una nueva observación x 0 = (2, 0) ′ . ¿A qué población le asignamos?d M1 (x 0 , µ 1 ) = ( (x 0 − µ 1 ) ′ Σ 1 −1 (x 0 − µ 1 ) ) 1/2= dE (x 0 , µ 1 ) = 2d M2 (x 0 , µ 2 ) = ( (x 0 − µ 2 ) ′ Σ 2 −1 (x 0 − µ 2 ) ) 1/2=√6 ≈ 2 ′ 45Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 3Regla de clasificación• d M1 (x 0 , µ 1 ) < d M2 (x 0 , µ 2 ) ⇒ x 0 se clasifica en P 1• d M2 (x 0 , µ 2 ) < d M1 (x 0 , µ 1 ) ⇒ x 0 se clasifica en P 2Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 4Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 5Regla de clasificaciónAnálisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 6Σ 1 = Σ 2Ejemplo II. n = 100 datos de P 1 , con x 1 ∈ N 2 (µ 1 ; Σ) y de P 2 con x 2 ∈ N 2 (µ 2 ; Σ)µ 1 = (0, 0) ′ , µ 2 = (6, 0) ′ y Σ =[1 1/ √ 31/ √ 3 1]≈[1 0 ′ 580 ′ 58 1].Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 7Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 8Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 9Ejemplo III. n = 100 datos de P 1 , con x 1 ∈ N 2 (µ 1 ; Σ) y de P 2 con x 2 ∈ N 2 (µ 2 ; Σ)µ 1 = (0, 0) ′ , µ 2 = (2, 0) ′ y Σ =[1 1/ √ 31/ √ 3 1]≈[1 0,580,58 1].Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 10Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 11Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 12Σ 1 ≠ Σ 2µ 1 = (1, 0) ′ , µ 2 = (5, 0) ′ , Σ 1 = I, Σ 2 = 5IAnálisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 13Análisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 14Interpretación geométricaAnálisis de Datos

3.2.1 Clasificación mediante la distancia de Mahalanobis 15Interpretación geométricaAnálisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 16π 1 = π 2 , c(1|2) = c(2|1)Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 17π 1 = 0 ′ 75, π 2 = 0 ′ 25, c(1|2) = c(2|1) ó π 1 = π 2 , c(1|2) = 25, c(2|1) = 75Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 18π 1 = 0 ′ 95, π 2 = 0 ′ 05, c(1|2) = c(2|1) ó π 1 = π 2 , c(1|2) = 5, c(2|1) = 95Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 19Ejemplo 3. Datos de esclerosis múltiple.Los vectores de medias son:¯x 1 =⎡⎢⎣37, 99147, 291, 56195, 601, 62⎤⎥⎦ ,EDADR1SUMAR1DIFR2SUMAR2DIFEstadísticos descriptivos aa. PACIENTE = 0DesviaciónMedia típica N37,986 16,6623 69147,2899 10,59692 691,5623 1,34351 69195,6029 13,60988 691,6203 1,53475 69¯x 2 =⎡⎢⎣42, 07178, 2712, 28236, 9313, 08⎤⎥⎦ ,EDADR1SUMAR1DIFR2SUMAR2DIFEstadísticos descriptivos aa. PACIENTE = 1DesviaciónMedia típica N42,069 11,0063 29178,2690 29,06339 2912,2759 17,81191 29236,9310 34,35160 2913,0828 18,73625 29Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 20Las “matrices de covarianzas” son:S 1 =EDADR1SUMAR1DIFR2SUMAR2DIFa. PACIENTE = 0EDAD R1SUMA R1DIF R2SUMA R2DIF277,632 95,398 5,361 103,724 3,24195,398 112,295 1,766 106,785 2,0425,361 1,766 1,805 2,235 ,501103,724 106,785 2,235 185,229 2,3513,241 2,042 ,501 2,351 2,355S 2 =EDADR1SUMAR1DIFR2SUMAR2DIFa. PACIENTE = 1EDAD R1SUMA R1DIF R2SUMA R2DIF121,138 52,795 -20,220 68,133 -29,82052,795 844,681 244,463 912,415 106,764-20,220 244,463 317,264 232,365 297,31968,133 912,415 232,365 1180,032 81,097-29,820 106,764 297,319 81,097 351,047Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 21Matriz de varianzas dentro de los grupos:S w = 69 − 198 − 2 S 1+ 29 − 198 − 2 S 2 =⎡⎢⎣231, 98 82, 97 −2, 10 93, 34 −6, 4082, 97 325, 90 72, 55 341, 76 32, 58−2, 10 72, 55 93, 81 69, 35 87, 0793, 34 341, 76 69, 35 475, 38 25, 31−6, 40 32, 58 87, 07 25, 31 104, 05⎤⎥⎦Matrices intra-grupo combinadasCovarianzaEDADR1SUMAR1DIFR2SUMAR2DIFEDAD R1SUMA R1DIF R2SUMA R2DIF231,988 82,972 -2,100 93,343 -6,40282,972 325,907 72,553 341,760 32,586-2,100 72,553 93,814 69,356 87,07393,343 341,760 69,356 475,380 25,319-6,402 32,586 87,073 25,319 104,057Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 23Clasificación de observaciones:Se basa en comparar comparar el valor de ŵ ′ x con ŵ ′ (¯x 1 +¯x 22)= 23,23.X 1 X 2 X 3 X 4 X 5 Paciente/Control ŵ ′ x Clasificado18 152.0 1.6 198.4 0.0 0 21.13 019 138.0 0.4 180.8 1.6 0 19.80 020 144.0 0.0 186.4 0.8 0 20.34 020 143.6 3.2 194.8 0.0 0 20.15 020 148.8 0.0 217.6 0.0 0 22.92 023 148.0 0.8 205.4 0.6 1 23.50 125 195.2 3.2 262.8 0.4 1 21.78 025 158.0 8.0 209.8 12.2 1 27.62 128 134.4 0.0 198.4 3.2 1 23.88 129 190.2 14.2 243.8 10.6 1 21.44 0Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 24Clasificación de todas las observaciones:OriginalResultados de la clasificación b Grupo depertenenciapronosticadoPACIENTE 0 1 TotalRecuento 066 3 6917 22 29% 095,7 4,3 100,0124,1 75,9 100,0b. Clasificados correctamente el 89,8% de los casos agrupados originales.El 95.7 % de los controles (66 de 69) se clasifica correctamente.El 75.9 % de los casos (22 de 29) se clasifica correctamente.La tasa de error aparente =Total de mal clasificadosTamaño de la muestra= 1098= 10.2 %.Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 25Clasificación de todas las observaciones (validación cruzada):Grupo depertenenciapronosticadoPACIENTE 0 1 TotalValidación cruzada a Recuento 064 5 6918 21 29% 092,8 7,2 100,0127,6 72,4 100,0a. La validación cruzada sólo se aplica a los casos del análisis. En la validación cruzada, cada caso seclasifica mediante las funciones derivadas a partir del resto de los casos.c. Clasificados correctamente el 86,7% de los casos agrupados validados mediante validación cruzada.El 92.8 % de los controles (64 de 69) se clasifica correctamente.El 72.4 % de los casos (21 de 29) se clasifica correctamente.La tasa de error =Total de mal clasificadosTamaño de la muestra= 1398= 13.3 %.Análisis de Datos

3.2.2 Clasificación mediante la teoría de la decisión 26Clasificación de observaciones teniendo en cuenta los costes: Supongamos queel coste de clasificar a un individuo sano como enfermo es 1000 euros y que“coste” de clasificar a un individuo enfermo como sano es 10000 euros.Ahora debemos comparar comparar el valor de ŵ ′ x con ŵ ′ (¯x 1 +¯x 2( ) 2log c(1|2)π2c(2|1)π 1= 23,23 − log(10000/1000) = 23,23 − 2,30 = 20,93.X 1 X 2 X 3 X 4 X 5 Paciente/Control ŵ ′ x Nueva Clasificación18 152.0 1.6 198.4 0.0 0 21.13 119 138.0 0.4 180.8 1.6 0 19.80 020 144.0 0.0 186.4 0.8 0 20.34 020 143.6 3.2 194.8 0.0 0 20.15 020 148.8 0.0 217.6 0.0 0 22.92 123 148.0 0.8 205.4 0.6 1 23.50 125 195.2 3.2 262.8 0.4 1 21.78 125 158.0 8.0 209.8 12.2 1 27.62 128 134.4 0.0 198.4 3.2 1 23.88 129 190.2 14.2 243.8 10.6 1 21.44 1)−Análisis de Datos

3.5 Generalización a varias poblaciones normales 27Discriminación entre más de dos poblaciones normales - IAnálisis de Datos

3.5 Generalización a varias poblaciones normales 28Discriminación entre más de dos poblaciones normales - IIAnálisis de Datos

3.5 Generalización a varias poblaciones normales 29Ejemplo 6. En su trabajo pionero sobre funciones discriminantes, Ronald A.Fisher estudió las siguientes variables medidas en 50 ejemplares de Iris setosa,Iris versicolor, e Iris virginica):CódigoslswplpwEstadísticos descriptivos aDescripciónLongitud del sépaloAnchura del sépaloLongitud del pétaloAnchura del pétaloCovarianzas aSLSWPLPWN válido (según lista)a. CLASS = setosaN Media Desv. típ.50 5,006 ,352550 3,418 ,381050 1,464 ,173550 ,244 ,107250SLSWPLPWa. CLASS = setosaSL SW PL PW,124 ,100 ,016 ,011,100 ,145 ,012 ,011,016 ,012 ,030 ,006,011 ,011 ,006 ,011Análisis de Datos

3.5 Generalización a varias poblaciones normales 30Ejemplo 6.Estadísticos descriptivos aCovarianzas aSLSWPLPWN válido (según lista)a. CLASS = versicolorEstadísticos descriptivos aN Media Desv. típ.50 5,936 ,516250 2,770 ,313850 4,260 ,469950 1,326 ,197850SLSWPLPWa. CLASS = versicolorSL SW PL PW,266 ,085 ,183 ,056,085 ,098 ,083 ,041,183 ,083 ,221 ,073,056 ,041 ,073 ,039Covarianzas aSLSWPLPWN válido (según lista)a. CLASS = virginicaN Media Desv. típ.50 6,588 ,635950 2,974 ,322550 5,552 ,551950 2,026 ,274750SLSWPLPWa. CLASS = virginicaSL SW PL PW,404 ,094 ,303 ,049,094 ,104 ,071 ,048,303 ,071 ,305 ,049,049 ,048 ,049 ,075Análisis de Datos

3.5 Generalización a varias poblaciones normales 31Ejemplo 6. Matriz de varianzas dentro de los grupos y vectores ŵ ij :S w =⎡⎢⎣0,265 0,093 0,167 0,0380,093 0,115 0,055 0,0330,167 0,055 0,185 0,0420,038 0,033 0,042 0,042⎤⎥⎦yŵ 12 =⎡⎢⎣−7,762−16,61421,48724,323⎤⎥⎦ , ŵ 13 =⎡⎢⎣−10,975−20,12429,02539,088⎤⎥⎦ , y ŵ 23 =⎡⎢⎣−3,212−3,5107,53714,764⎤⎥⎦ .Análisis de Datos

3.5 Generalización a varias poblaciones normales 32Ejemplo 6.ŵ ′ 12(¯x 1 + ¯x 2 )/2 = −13,3ŵ ′ 13(¯x 1 + ¯x 3 )/2 = 18,2ŵ ′ 23(¯x 2 + ¯x 3 )/2 = 31,5:Clase ŵ 12x ′ ŵ 13x ′ ŵ 23x ′ Comparaciones Clasificaciónsetosa -62.7 -77.9 -15.1 1 ≻ 2 1 ≻ 3 2 ≻ 3 1setosa -52.9 -65.7 -12.7 1 ≻ 2 1 ≻ 3 2 ≻ 3 1setosa -56.8 -70.4 -13.5 1 ≻ 2 1 ≻ 3 2 ≻ 3 1versicolor 27.5 49.9 22.3 2 ≻ 1 3 ≻ 1 2 ≻ 3 2versicolor 30.3 54.6 24.2 2 ≻ 1 3 ≻ 1 2 ≻ 3 2versicolor 36.7 62.7 26.0 2 ≻ 1 3 ≻ 1 2 ≻ 3 2virginica 86.0 136.3 50.3 2 ≻ 1 3 ≻ 1 3 ≻ 2 3virginica 65.9 104.3 38.3 2 ≻ 1 3 ≻ 1 3 ≻ 2 3virginica 72.8 115.0 42.1 2 ≻ 1 3 ≻ 1 3 ≻ 2 3Análisis de Datos

3.5 Generalización a varias poblaciones normales 33Ejemplo 6.Resultados de la clasificación b,cGrupo de pertenenciapronosticadoESPECIE 1,00 2,00 3,00 TotalValidación cruzada a Recuento 1,0050 0 0 50OriginalRecuento 1,0050 0 0 502,000 48 2 503,000 1 49 50% 1,00 100,0 ,0 ,0 100,02,00,0 96,0 4,0 100,03,00,0 2,0 98,0 100,02,000 48 2 503,000 1 49 50% 1,00 100,0 ,0 ,0 100,02,00,0 96,0 4,0 100,03,00,0 2,0 98,0 100,0a. La validación cruzada sólo se aplica a los casos del análisis. En la validación cruzada, cada caso seclasifica mediante las funciones derivadas a partir del resto de los casos.b. Clasificados correctamente el 98,0% de los casos agrupados originales.c. Clasificados correctamente el 98,0% de los casos agrupados validados mediante validación cruzada.Análisis de Datos

3.5 Generalización a varias poblaciones normales 34Ejemplo 6.78675463251virginicavirginicaversicolorversicolorPL0setosaSL4setosa1,52,02,53,03,54,04,51,52,02,53,03,54,04,5SWSWAnálisis de Datos

3.5 Generalización a varias poblaciones normales 35Ejemplo 6.3210-1Puntuaciones discriminantes 2-2-3virginica (*)versicolor (*)virginicaversicolorsetosa-10010Puntuaciones discriminantes 1Análisis de Datos

3.4 La función discriminante lineal de Fisher 36Función discriminante lineal de FisherEncontrar una combinación linealz = α ′ x tal que maximice la siguienteexpresión:φ =( α ′¯x 2 − α ′¯x 1s z) 2.La varianza de z se estima pors 2 z = α ′ S w α ′ .50454035302520µ 1Derivando φ con respecto del vectorα e igualando a 0, obtenemos:1510µ 2α = S −1w (¯x 2 − ¯x 1 ),500 5 10 15 20 25 30 35 40 45 50que coincide con el vector ŵ.Análisis de Datos

3.4 La función discriminante lineal de Fisher 37Ejemplo 7. Supongamos que deseamosun procedimiento automáticopara reconocer el código postal escritoen una carta. Para ello, se lee cadanúmero y se codifica en una matrizde pixeles de 16 × 16. En el ficheronumeros.sav se encuentran los datosde este ejemplo: 257 variables y 7291observaciones.510155105 10 15510155105 10 15Reducimos la dimensión del problemaaplicando un análisis de componentesprincipales normado. Seleccionaremostodas las componentes con valor propiomayor que 1: Resultado: 44 componentesque explican el 83.05 % dela variabilidad total.15510155 10 155 10 1515510155 10 155 10 15Análisis de Datos

3.4 La función discriminante lineal de Fisher 38Ejemplo 7.Resultados de la clasificación aOriginalRecuento%V1,001,002,003,004,005,006,007,008,009,00,001,002,003,004,005,006,007,008,009,00Grupo de pertenencia pronosticado,00 1,00 2,00 3,00 4,00 5,00 6,00 7,00 8,00 9,00 Total1157 0 7 1 4 14 10 0 1 0 11940 988 0 0 11 1 2 0 3 0 10051 0 685 5 18 5 3 1 13 0 7312 0 8 605 1 23 0 0 16 3 6580 2 9 0 602 3 7 1 4 24 6526 0 8 14 5 505 6 2 8 2 5567 1 14 0 1 11 629 0 1 0 6640 0 3 1 4 4 0 603 7 23 6450 1 11 12 9 10 5 3 490 1 5420 0 0 3 16 7 0 21 2 595 64496,9 ,0 ,6 ,1 ,3 1,2 ,8 ,0 ,1 ,0 100,0,0 98,3 ,0 ,0 1,1 ,1 ,2 ,0 ,3 ,0 100,0,1 ,0 93,7 ,7 2,5 ,7 ,4 ,1 1,8 ,0 100,0,3 ,0 1,2 91,9 ,2 3,5 ,0 ,0 2,4 ,5 100,0,0 ,3 1,4 ,0 92,3 ,5 1,1 ,2 ,6 3,7 100,01,1 ,0 1,4 2,5 ,9 90,8 1,1 ,4 1,4 ,4 100,01,1 ,2 2,1 ,0 ,2 1,7 94,7 ,0 ,2 ,0 100,0,0 ,0 ,5 ,2 ,6 ,6 ,0 93,5 1,1 3,6 100,0,0 ,2 2,0 2,2 1,7 1,8 ,9 ,6 90,4 ,2 100,0,0 ,0 ,0 ,5 2,5 1,1 ,0 3,3 ,3 92,4 100,0a. Clasificados correctamente el 94,1% de los casos agrupados originales.Análisis de Datos

3.4 La función discriminante lineal de Fisher 39Ejemplo 7.642Número90876-254Función discriminante 2-4-63210-8-6-4-202468Función discriminante 1Análisis de Datos

3.4 La función discriminante lineal de Fisher 40Ejemplo 7.6420Número9-287-465Función discriminante 3-6-8-1043210-8-6-4-202468Función discriminante 1Análisis de Datos

3.4 La función discriminante lineal de Fisher 41Ejemplo 7.642Número90876-254Función discriminante 6-4-63210-6-4-20246Función discriminante 7Análisis de Datos