guia de marcação específica e impreterivelmente dentro <strong>do</strong>s critérios estabeleci<strong>do</strong>sneste guia. Em caso de dúvidas, o corretor deve reportar-se ao supervisorde correção para que ele acrescente <strong>um</strong> novo critério para respostasnaquele padrão, após discussão com to<strong>do</strong>s os especialistas. <strong>Por</strong> sua vez, ocorretor C compara as respostas <strong>do</strong>s corretores A e B, às quais tem acesso,identifican<strong>do</strong> possíveis discordâncias, e definin<strong>do</strong>, conforme os critérios estabeleci<strong>do</strong>s,a pontuação para os itens. Entre suas atribuições ainda está o papelde líder <strong>do</strong> seu grupo, auxilian<strong>do</strong> na manutenção da qualidade das observaçõese <strong>do</strong> julgamento <strong>do</strong>s outros corretores.Em s<strong>um</strong>a, a correção <strong>do</strong> Caderno de Atividades de cada aluno é feita <strong>um</strong>avez individualmente pelos três corretores especialistas que analisam epontuam a resposta dada pelo aluno com base no guia de marcação. Apontuação é, então, transcrita para <strong>um</strong> formulário de correção e inserida em<strong>um</strong> banco de da<strong>do</strong>s para posteriores análises estatísticas 16 .A correção múltipla é necessária para a verificação da consistência entre oscorretores. O índice de consistência é obti<strong>do</strong> através da correlação entre aspontuações atribuídas pelos corretores a cada atividade. Estipula-se na literatura(e.g. PASQUALI, 2003; ANASTASI e URBINA, 2000) que <strong>um</strong> índicede consistência de oitenta por cento é aceitável, muito embora seja desejável<strong>um</strong> índice igual ou superior a 95%. Pontuações muito discrepantes entrecorretores, portanto, índices de consistência inferiores a oitenta por cento,são indícios de que a qualidade das inferências realizadas a partir <strong>do</strong>s da<strong>do</strong>scoleta<strong>do</strong>s não é consistente com a real competência <strong>do</strong>s avalian<strong>do</strong>s. Exemplodisso seria <strong>um</strong>a postura mais leniente de <strong>do</strong>is <strong>do</strong>s corretores que se refletiriaem pontuações mais infladas, representan<strong>do</strong> <strong>um</strong>a realidade mais favorável <strong>do</strong>que é. Todavia, se <strong>do</strong>is <strong>do</strong>s corretores fossem mais severos em sua análise, osalunos poderiam ser reporta<strong>do</strong>s como ten<strong>do</strong> menos <strong>do</strong>mínio das competênciasavaliadas <strong>do</strong> que têm.5.7.ANÁLISES ESTATÍSTICASEm muitas situações nas áreas de educação e psicologia faz-se necessária amensuração de <strong>um</strong>a variável de interesse, que no caso da vertente alfabetização<strong>do</strong> Sistema de Avaliação de Competências é definida como competência16. Para informações sobre as análises estatísticas, ver o tópico a seguir.55
em letramento 17 . Tal medida torna-se extremamente útil no acompanhamentoe na avaliação de conjunto(s) de indivíduos no que se refere a suaevolução no processo ensino-aprendizagem, bem como na efetividade daspropostas pedagógicas delineadas pelo <strong>Projeto</strong> <strong>SESI</strong> – <strong>Por</strong> <strong>um</strong> <strong>Brasil</strong> Alfabetiza<strong>do</strong>.Essa variável, apresentada como competência em leitura e n<strong>um</strong>erização,recebe na psicometria a denominação genérica de traço latente 18 . Uma metainicial, portanto, <strong>do</strong> Sistema de Avaliação é a determinação da “quantidade”(mensuração) <strong>do</strong> traço latente que os alfabetizan<strong>do</strong>s possuem.Com o intuito de se medir a competência <strong>do</strong>s alunos são estrutura<strong>do</strong>s eaplica<strong>do</strong>s instr<strong>um</strong>entos de coleta (testes). Os testes usa<strong>do</strong>s em <strong>um</strong>a avaliaçãoeducacional são compostos de itens (questões) que avaliam o <strong>do</strong>mínio de <strong>um</strong>conjunto de habilidades e conhecimentos, que caracteriza a competência quese pretende avaliar. As competências e suas respectivas habilidades são apresentadasnas matrizes de referência em anexo. Busca-se, por meio da utilizaçãode técnicas psicométricas adequadas que viabilizem a validação <strong>do</strong>s itense conseqüentemente <strong>do</strong> teste, <strong>um</strong>a representação fidedigna <strong>do</strong> traço latenteque se deseja avaliar.Nesse contexto, a Psicometria procura compreender as competências ehabilidades adquiridas pelas respostas dadas pelos sujeitos a <strong>um</strong>a série de tarefas,tipicamente denominadas de itens, utilizan<strong>do</strong>-se de modelos estatísticosadequa<strong>do</strong>s à problemática inerente a esse tipo de situação.As técnicas estatísticas usualmente utilizadas para modelagem de da<strong>do</strong>soriun<strong>do</strong>s dessa situação são: Teoria Clássica <strong>do</strong>s Testes (TCT) e Teoria deResposta ao Item (TRI). Com características distintas, essas duas técnicas sãocapazes de estimar a competência de cada sujeito e de produzir importantesinformações sobre cada item de <strong>um</strong> teste, verifican<strong>do</strong> sua adequação quantoaos objetivos propostos. Dificuldade, discriminação e percentual de acerto aoacaso (chute) são alguns, talvez os mais relevantes, parâmetros 19 relaciona<strong>do</strong>saos itens apresenta<strong>do</strong>s por esses <strong>do</strong>is modelos.17. Competência em letramento é “compreendida como a procura em estudar e descrever o que ocorre nassociedades quan<strong>do</strong> a<strong>do</strong>tam <strong>um</strong> sistema de escritura de maneira restrita ou generalizada; procura ainda saberquais práticas psicossociais substituem as práticas “letradas” em sociedades ágrafas. Desse mo<strong>do</strong>, o letramentotem por objetivo investigar não somente quem é alfabetiza<strong>do</strong>, mas também quem não é alfabetiza<strong>do</strong>, e, nessesenti<strong>do</strong>, isenta-se de verificar o individual e concentra-se no social”. (TFOUNI, 2002, p. 9-10).18. Segun<strong>do</strong> Pasquali (2003), a Psicometria trabalha com o conceito fatorista <strong>do</strong> traço latente, que o define como oconjunto de processos cognitivos necessários para a execução de <strong>um</strong>a tarefa.19. Parâmetro é <strong>um</strong>a característica n<strong>um</strong>érica estabelecida para toda <strong>um</strong>a população.56
- Page 7 and 8: 4.2. Escopo da Matriz de Competênc
- Page 10: APRESENTAÇÃOO presente relatório
- Page 14 and 15: 1. INTRODUÇÃOO Projeto SESI - Por
- Page 16: 1.2.A PARTICIPAÇÃO DA INDÚSTRIA
- Page 19 and 20: O Sistema de Avaliação fundamenta
- Page 21 and 22: c. Assistir escolas e programas par
- Page 23: Machado (2002) expõe com muita pro
- Page 26 and 27: Numerização possibilita interpret
- Page 28 and 29: O principal desafio que se coloca p
- Page 30 and 31: citada por Nunes e Bryant (1997, p.
- Page 32 and 33: 4. AS MATRIZES DE COMPETÊNCIASE HA
- Page 34 and 35: 4.2. ESCOPO DA MATRIZ DECOMPETÊNCI
- Page 36 and 37: 5. FUNDAMENTAÇÃOMETODOLÓGICA DA
- Page 38 and 39: zadas, como é o caso dos sistemas
- Page 40 and 41: No que se refere ao aluno, pelo men
- Page 42 and 43: também desvantagens, tendo como um
- Page 44 and 45: 5.3. INSTRUMENTOS DE APLICAÇÃO(CA
- Page 46 and 47: cialmente uma questão que apresent
- Page 48 and 49: chaleira sobre o fogão; (3) acende
- Page 50 and 51: a utilização de itens “âncora
- Page 52 and 53: aprendizagem, mas quando se busca c
- Page 54 and 55: conhecimentos e experiência muito
- Page 58 and 59: 5.7.1.TEORIA CLÁSSICA DOS TESTES (
- Page 60 and 61: a) Os escores verdadeiros são igua
- Page 62 and 63: onde,A: número de sujeitos que ace
- Page 64 and 65: não é capaz de fazer predições
- Page 66 and 67: aumenta o nível de habilidade atri
- Page 68 and 69: ilidade zero de acertar o item. Sen
- Page 70 and 71: Figura 5.7.2.3.4.1 - CCI do modelo
- Page 72 and 73: Figura 5.7.2.3.4.2 - Curva de respo
- Page 74 and 75: 6. A AVALIAÇÃO DOS ALFABETIZANDOS
- Page 76 and 77: ∆ = 13 + 4zonde z representa os v
- Page 78 and 79: mesmo quando comparada com a profic
- Page 80 and 81: A atividade requeria que o aluno id
- Page 82 and 83: ecebem em um bilhete pode ter atra
- Page 84 and 85: palavra “passa”. O texto utiliz
- Page 86 and 87: senta tipos diferentes de placa de
- Page 88 and 89: Para aferir essa habilidade, os alu
- Page 90 and 91: Observou-se que 75% dos estudantes
- Page 92 and 93: 6.3. PERCENTUAL DE ACERTO POR ITEME
- Page 94 and 95: Quatro caixas, de tamanhos proporci
- Page 96 and 97: melhores as possibilidades de compr
- Page 98 and 99: Ao apresentar uma situação-proble
- Page 100 and 101: O alfabetizador pode sugerir vivên
- Page 102 and 103: propor a resolução de situações
- Page 104 and 105: de créditos parciais de cada item;
- Page 106 and 107:
Atividade 11Tabela 6.4.1.2 - Sumár
- Page 108 and 109:
6.4.2.ANÁLISE DE ITENS SELECIONADO
- Page 110 and 111:
Atividade 22Tabela 6.4.2.2 - Sumár
- Page 112 and 113:
6.5. PERCENTUAL DE ACERTO POR ITEM
- Page 114 and 115:
Além disso, os item 21 e 22 de num
- Page 116 and 117:
informações selecionadas na leitu
- Page 118 and 119:
De acordo com o gráfico ‘a’ de
- Page 120 and 121:
Segundo o gráfico ‘a’ de lingu
- Page 122 and 123:
7. VALIDADE DO TESTEA validade cons
- Page 124 and 125:
Gráfico 7.1.1 - Scree plot da aval
- Page 126 and 127:
A tabela 7.1.2 apresenta a análise
- Page 128 and 129:
Ao se analisarem as curvas de infor
- Page 130 and 131:
8. CONCLUSÃOAs diferentes análise
- Page 132 and 133:
isco social, por exemplo, dificulta
- Page 134 and 135:
Esse tipo de circunstâncias procur
- Page 136 and 137:
REFERÊNCIAS BIBLIOGRÁFICASABRANTE
- Page 138 and 139:
LORD, F.M. Applications of item res
- Page 140 and 141:
ANEXOS
- Page 142 and 143:
141
- Page 144 and 145:
143
- Page 146 and 147:
145
- Page 148:
147