Uma ferramenta estatística para o futuro - Sigma Society
Uma ferramenta estatística para o futuro - Sigma Society
Uma ferramenta estatística para o futuro - Sigma Society
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>Uma</strong> <strong>ferramenta</strong> <strong>estatística</strong> <strong>para</strong> o <strong>futuro</strong><br />
Por Hindemburg Melão Jr.<br />
http://www.sigmasociety.com<br />
Quando eu tinha cerca de 15 anos, e tive meus primeiros contatos com as distribuições de QIs,<br />
ocorreram-me algumas idéias que na época eu não tinha como confirmar nem como me<br />
aprofundar.<br />
<strong>Uma</strong> das idéias que tive é que algumas amostras poderiam acidentalmente conter elementos<br />
muito destoantes e com isso distorcer os parâmetros da distribuição. Por exemplo: numa classe<br />
com 50 alunos em que eu estivesse presente, a incidência de QIs acima de determinado valor<br />
seria diferente do esperado <strong>para</strong> uma amostra desse tamanho, e isso distorceria a posição da<br />
média e o tamanho do desvio-padrão, além de introduzir muita assimetria e curtose. Eu não<br />
conhecia a expressão “curtose”, mas a compreendia, bem como o conceito de assimetria, que<br />
é bastante intuitivo. Se um grupo de ganhadores de prêmio Nobel estivesse passeando pela<br />
praça da Sé, e um examinador escolhesse arbitrariamente 300 pessoas que estivessem<br />
passando pela praça <strong>para</strong> medir seus QIs, também haveria um efeito desse tipo. Para que o<br />
cálculo pudesse ser feito de modo a estimar corretamente a média e o desvio-padrão naquela<br />
população, seria necessário desconsiderar ou atenuar o efeito causado por aquelas presenças<br />
inusitadas. Em Xadrez havia um critério de desempate chamado “milésimos medianos”, que<br />
consistia basicamente numa média recortada (trimmed mean), eliminando algo como 10% dos<br />
resultados mais altos e 10% dos mais baixos, que era um jeito simples e meio porco de corrigir<br />
aquele tipo de efeito. Eu conhecia o sistema de desempate de milésimos medianos, mas não<br />
me parecia ser a solução mais apropriada. A exclusão pura e simples do(s) elemento(s)<br />
destoante(s), antes de fazer o cálculo dos parâmetros da distribuição, e a exclusão de um<br />
elemento aleatoriamente escolhido da outra metade da distribuição (ou tantos quantos<br />
equivalessem aos que foram excluídos do outro lado), poderia ser uma forma de<br />
contrabalançar esse efeito de maneira mais limpa, ou ainda balancear o peso de cada<br />
elemento em função da probabilidade de cada elemento fazer parte daquele grupo. Muitos<br />
anos depois eu soube da existência de Estatística Robusta, cujo propósito é exatamente esse.<br />
Outra percepção que tive, e que de certo modo decorre da anterior, é que em vez de calcular<br />
os parâmetros da distribuição (média e desvio-padrão) com uso das fórmulas convencionais,<br />
seria mais acurado testar diferentes valores <strong>para</strong> aqueles parâmetros, até encontrar a curva<br />
que mais se assemelhasse visualmente à curva empírica. Muitos anos depois, eu descobri que<br />
isso existe e se chama “estimação por máxima verossimilhança”, e que a “com<strong>para</strong>ção visual<br />
entre as formas das curvas” é feita objetivamente por testes de aderência.<br />
Eu também tinha o entendimento de que se alguns elementos de uma amostra destoavam<br />
muito daquela amostra, e se havia inexatidões nas medidas, então se o tal elemento ou os tais<br />
elementos estivessem muito acima da média amostral, poderia indicar que na verdade todos os<br />
outros elementos da amostra deveriam ter valores um pouco maiores (o valor verdadeiro<br />
deveria ser um pouco maior que o valor aferido), <strong>para</strong> acompanhar o fato de existir o tal<br />
elemento, mas não tão maiores quanto se o cálculo dos parâmetros da distribuição fossem<br />
feitos à maneira convencional e incluindo o elemento como parte “normal” da amostra. A idéia<br />
de balancear a presença de outliers, em vez de os eliminar, me parecia o procedimento mais<br />
correto, e este balanceamento precisava ser bilateral <strong>para</strong> que fizesse sentido, isto é: se a<br />
amostra inteira tem sua média arrastada <strong>para</strong> cima devido a presença de um outlier muito alto,<br />
então o valor do outlier também precisa ser arrastado <strong>para</strong> baixo. Isso implicaria uma incerteza<br />
assimétrica em todas as medidas, especialmente nos elementos mais afastados da média e<br />
mais ainda nos outliers. Essa percepção de relação mútua entre como as probabilidades de
cada elemento ter assumido determinado valor influenciava nos valores de todos os demais<br />
elementos individualmente, bem como nos parâmetros da amostra como um todo, eu cheguei a<br />
aplicar em muitas ocasiões, inclusive em 2003, em meu artigo sobre como calcular <strong>para</strong>laxes<br />
estelares, em que proponho que a probabilidade de uma estrela apresentar determinada<br />
luminosidade absoluta precisa ser considerada conjuntamente com a probabilidade de a<br />
distância dessa estrela estar situada em determinado limite fiduciário, caso contrário se pode<br />
fazer superestimativas ou subestimativas. Alguns anos depois, eu soube que isso se chama<br />
“Estatística Bayesiana”.<br />
Em minhas tentativas de normatização do <strong>Sigma</strong> Test, concebi vários conceitos que são<br />
usados em Teoria de Resposta ao Item (TRI) e outros superiores aos usados em TRI, além de<br />
posteriormente ter ampliado e aprimorado alguns conceitos de TRI quando passei a conhecê-la.<br />
Se aos 15 anos de idade eu dispusesse de conhecimentos matemáticos e instrumentos<br />
apropriados, ou mesmo que não conhecesse a matemática necessária, mas se eu tivesse<br />
computadores naquela época, e alguma motivação <strong>para</strong> dedicar tempo a isso, é provável que<br />
eu redescobrisse alguns fundamentos da Estatística Robusta, da Estatística Bayesiana, alguns<br />
métodos <strong>para</strong> estimação por máxima verossimilhança e recriasse a Teoria de Resposta ao Item.<br />
<strong>Uma</strong> das idéias que tive naquela época, mas que parece ainda não existir algo equivalente, e<br />
que pode ser uma <strong>ferramenta</strong> importante no <strong>futuro</strong>, talvez nos próximos séculos, é a<br />
determinação dos parâmetros de uma função que represente a distribuição de uma população<br />
com base numa amostra dessa população que esteja concentrada numa das caudas da<br />
distribuição populacional, portanto com parâmetros muito diferentes daqueles da própria<br />
população. Exemplo: Com base na medida dos QIs de todas as pessoas do MIT, calcular o QI<br />
médio da população dos EUA. O QI médio no MIT é cerca de 144 e o QI médio nos EUA é<br />
cerca de 98 (de acordo com Richard Lynn). Se não fosse conhecido, de antemão, o QI médio<br />
nos EUA, como calcular este valor com base apenas na medida dos QIs do MIT?<br />
O QI médio dos membros da Mensa é cerca de 138,4. O ponto de corte é 133. A distribuição<br />
dos QIs medidos no exame <strong>para</strong> admissão gera escores truncados em 133, porém se as<br />
pessoas aprovadas forem examinadas com outro teste equivalente, provavelmente será<br />
mantido o escore médio 138,4, com a diferença que muitas terão escores abaixo de 133. Os<br />
dois gráficos a seguir resumem a situação:
No gráfico acima, a linha azul representa a distribuição teórica de QIs na população em geral, e<br />
a região em vermelho representa a parte da população aprovada na Mensa nos próprios testes<br />
usados <strong>para</strong> seleção. Como o ponto de corte é 133, nenhum escore pode ser abaixo desse<br />
valor e a curva é quase perfeitamente aderente à parte correspondente da distribuição da<br />
população inteira.<br />
Mas se for aplicado outro teste nas pessoas que foram aprovadas, o resultado provável é como<br />
no próximo gráfico:<br />
Em que a média continua sendo 138,4, mas a forma da curva muda completamente e alguns<br />
escores podem ficar abaixo do ponto de corte. [Nota: a curva vermelha real tem forma<br />
quantitativamente diferente desta desenhada no gráfico, mas essencialmente conserva as<br />
mesmas propriedades desta representada acima]<br />
A área vermelha é uma distribuição que apresenta maior aderência à curva azul à medida que<br />
se afasta da tendência central (forte correlação positiva entre aderência local e distância à<br />
tendência central) numa das metades da distribuição (na cauda direita, nesse caso) e o oposto<br />
na outra metade, ou seja, forte correlação negativa entre aderência local e distância à<br />
tendência central. Com base na variação da dissimilaridade entre a função vermelha e a azul<br />
em relação à distância da tendência central até o ponto considerado, pode-se definir um<br />
método <strong>para</strong> reconstruir a curva azul com base nos parâmetros da curva vermelha. Porém a<br />
curva azul, a priori, não é conhecida. Nesse caso há duas maneiras de lidar com o problema. A<br />
mais fácil é quando se conhece os escores de pelo menos alguns elementos da população<br />
geral, por meio dos quais se pode definir aproximadamente a média da população e assim<br />
posicionar a amostra conhecida em relação à população. Mas suponhamos que não se sabe<br />
nada, nem a média aproximada da população, então o cálculo é feito com base exclusivamente<br />
nos parâmetros da amostra e partindo de algumas suposições:<br />
1) A distribuição da população é normal (mesocúrtica e simétrica).<br />
2) Os efeitos de ego-seleção não são significativos na amostra.<br />
3) A assimetria e a curtose na amostra são causadas pelo distanciamento da tendência<br />
central e são proporcionais à diferença entre a média da amostra e a média da<br />
população:<br />
a. Quanto maior a distância entre a média da amostra e a média da população,<br />
tanto maior é a assimetria na amostra.
. Quanto maior a distância entre a média da amostra e a média da população,<br />
tanto menor é a curtose na amostra na direção da média da população e maior é<br />
a curtose na amostra na direção oposta à média da população. Isso gera um<br />
novo parâmetro a ser considerado: a “assimetria da curtose”.<br />
A determinação quantitativa destas propriedades <strong>para</strong> diferentes posições da média amostral<br />
em relação à média populacional, possibilitam obter uma função (por regressão) que<br />
represente os parâmetros da população <strong>para</strong> quaisquer parâmetros de uma amostra,<br />
lembrando que a amostra deve, preferencialmente, contar com um quinto parâmetro<br />
(assimetria da curtose) <strong>para</strong> possibilitar o cálculo dos 2 parâmetros da população (média e<br />
desvio-padrão).<br />
As informações necessárias <strong>para</strong> que se possa calcular os parâmetros da população são:<br />
• Correlação entre assimetria da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre aderência local da amostra à população e distância entre a média da amostra e média da população.<br />
• Correlação entre curtose direita da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre curtose esquerda da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre assimetria da curtose da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre desvio-padrão da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre desvio-padrão direito da amostra e distância entre a média da amostra e média da população.<br />
• Correlação entre desvio-padrão esquerdo da amostra e distância entre a média da amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação da assimetria da amostra em função da distância entre a<br />
média da amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação da aderência local da amostra em função da distância entre<br />
a média da amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação da curtose direita da amostra em função da média da<br />
amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação da curtose esquerda da amostra em função da média da<br />
amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação da assimetria na curtose da amostra em função da média da<br />
amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação do desvio-padrão direito da amostra em função da média da<br />
amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação do desvio-padrão esquerdo da amostra em função da média<br />
da amostra e média da população.<br />
• Parâmetros <strong>para</strong> uma curva suave que represente a variação do desvio-padrão da amostra em função da média da<br />
amostra e média da população.<br />
Pode-se ampliar essa lista, usando diferentes curvas suaves <strong>para</strong> representar as variações em<br />
função da distância entre as médias. Mas, preliminarmente, o método já pode atender a alguns<br />
propósitos básicos usando apenas um tipo de modelagem. Munido com estes resultados,<br />
pode-se calcular os 2 parâmetros (média e desvio-padrão) da população de 8 maneiras<br />
diferentes, bem como as incertezas. Ainda que cada um dos resultados seja uma estimativa<br />
grosseira, o conjunto global de resultados pode fornecer valores razoavelmente precisos <strong>para</strong><br />
os parâmetros que se deseja conhecer, por isso é recomendável o uso de diferentes<br />
parâmetros da amostra <strong>para</strong> calcular repetidamente os mesmos parâmetros da população.<br />
Depois de realizados estes cálculos com amostras e populações cujos parâmetros sejam<br />
conhecidos (isso é feito apenas uma vez), pode-se usar as relações encontradas sempre que<br />
for necessário <strong>para</strong> se calcular os parâmetros desconhecidos de outras populações, com base<br />
nos parâmetros de amostras extremas destas populações.<br />
Quando se sabe, a priori, que a distribuição da população não é normal, e se sabe qual<br />
distribuição apresenta melhor qualidade de ajuste aos dados empíricos da população, pode-se<br />
fazer todo o processo equivalente usando outra distribuição em lugar da normal. Quando não<br />
se sabe qual é a distribuição que melhor representa a população, é recomendável adotar como<br />
hipótese que a distribuição seja normal.
Para que estes procedimentos produzam resultados aceitáveis, é importante que a distribuição<br />
da população seja muito aderente a uma gaussiana, inclusive e especialmente na cauda em<br />
que está a amostra considerada. Também é importante que a amostra seja suficientemente<br />
numerosa <strong>para</strong> que os 5 parâmetros possam ser calculados com boa precisão.<br />
Desse modo, seria possível usar os escores de testes aplicados no MIT <strong>para</strong> se calcular a<br />
distribuição de QIs no país inteiro. A incerteza no resultado seria grande, porém possibilitaria<br />
encontrar uma solução <strong>para</strong> um problema que de outro modo permaneceria insolúvel.<br />
Algumas aplicações que este método pode ter são:<br />
Conhecendo a distribuição de freqüências de linfócitos numa amostra local de sangue, isto é,<br />
quantos linfócitos por mililitro se tem em 200 ml, divididos em 200 amostras de 1 ml cada,<br />
sendo toda a amostra retirada da mesma região do corpo e na mesma data, portanto uma<br />
amostra que provavelmente não é representativa da distribuição de toda a população de<br />
linfócitos em outras partes do corpo, por meio de nosso método é possível estimar a<br />
distribuição de linfócitos em todas as partes do corpo.<br />
Conhecendo as propriedades de peças defeituosas, sem saber as propriedades de peças boas,<br />
pode-se estimar as propriedades das peças boas. Aplica-se à praticamente quaisquer peças de<br />
qualquer segmento industrial.<br />
De modo geral: conhecendo as propriedades de outliers ou de apenas parte da cauda de uma<br />
amostra, é possível calcular as propriedades de toda a população da qual aquela amostra foi<br />
extraída, mesmo os parâmetros da amostra sendo muito diferentes dos parâmetros da<br />
população.<br />
O uso de Bootstrap, Jackknife etc., podem melhorar os resultados.<br />
O uso de correlações entre os logaritmos das medidas pode ser mais apropriado quando se<br />
está próximo às extremidades das caudas. Há outros detalhes que podem refinar os resultados.<br />
No Mercado Financeiro, esta <strong>ferramenta</strong> é extremamente útil <strong>para</strong> calibrar parâmetros de<br />
sistemas automáticos, de modo a incorporar eventos raros, como o crash de 2008, e<br />
determinar propriedades “normais” <strong>para</strong> o Mercado, entre outras aplicações. Quando se<br />
conhece as propriedades tanto da população quanto de uma amostra concentrada numa das<br />
caudas, ou se conhece uma amostra representativa da população e outra concentrada numa<br />
das caudas, pode-se fazer modelagens muito mais úteis do que por métodos convencionais.<br />
Até onde sei, não existe algo similar, e em caso afirmativo, parece-me que um nome<br />
apropriado a este processo seja: “Estimação porca de parâmetros populacionais com base<br />
em amostras descentralizadas” ou EPPPAD. A estimação é “porca” porque não segue um<br />
caminho elegante, quase todo o método é acoxambrado, porém é extremamente efetivo.<br />
Perigos na aplicação indiscriminada desses procedimentos:<br />
Se uma população apresenta distribuição não-normal, uma amostra representativa dessa<br />
população pode induzir a estimativas incorretas dos parâmetros populacionais. Para que estes<br />
procedimentos sejam utilizados com legitimidade é necessário que se tenha motivos <strong>para</strong><br />
supor que a amostra coletada esteja situada num posição afastada da média populacional, ou<br />
com franca predominância numa das caudas da população.