avaliação do Projeto SESI â Por um Brasil Alfabetizado - CNI
avaliação do Projeto SESI â Por um Brasil Alfabetizado - CNI avaliação do Projeto SESI â Por um Brasil Alfabetizado - CNI
a utilização de itens “âncora” não será efetiva se seu contexto, sua posição esua ordem forem modificados; (c) é aconselhável que, quando o teste deligação integrar as outras formas, seja evitado usar os itens da última parte daprova como itens “âncora”, quando o efeito da “pressa de terminar a prova” émaior e; (d) o conjunto de itens “âncora” do teste de ligação deve ser representativodo total de itens da prova a ser equalizada e eles devem ser idênticosem todas as formas. Referindo-se a esta última regra, Angoff (1984) afirmaque o teste de ligação deve consistir de não menos do que vinte por cento donúmero de itens de cada uma das formas. A avaliação de competências é compostapor aproximadamente 35% de itens “âncora” de um total de 154 itens.Segundo Lord (1980), para uma mensuração acurada, o nível de dificuldadede um teste deve estar apropriado ao nível de habilidade do examinando. Umteste que é muito difícil para um examinando pode tornar-se demasiadodesanimador ou ter outros efeitos indesejáveis. Por seu turno, a aplicação deum teste fácil demais não possibilitaria o estabelecimento do nível de habilidadealcançado pelos estudantes mais competentes.Dessa forma, as avaliações de competências, para o estudo longitudinal,apresentam ainda uma dificuldade crescente para os diferentes momentosavaliativos (de entrada, de processo e de saída). Para a avaliação de entrada, omaior número de itens (aproximadamente oitenta por cento do Caderno deAtividades) recai sobre itens de sondagem, que têm como principal objetivoidentificar as habilidades que o aluno já traz consigo para o curso. Nas avaliaçõesseguintes, de processo, os itens estão calcados em habilidades commaior nível de complexidade; constituindo Cadernos que apresentam maiorpeso sobre as habilidades básicas. Essas avaliações pretendem verificar odomínio de habilidades que permitem ao indivíduo inclusão socialfuncional. Por fim, a avaliação de saída mescla atividades embasadas emhabilidades básicas e habilidades de nível intermediário. Considera-se que ascompetências estão dominadas pelos alunos que solucionam corretamenteas tarefas desses níveis. Além disso, a inclusão de atividades de nível intermediáriopermite verificar ao final do processo se existem alunos que atingiramníveis de aquisição superiores ao que era esperado para um curso de seismeses de duração 15 .Em função dessas considerações é que o Sistema de Avaliação de Competênciaspropõe-se a utilizar itens de ligação entre as avaliações, acompanhando15. Para mais detalhes sobre as habilidades ver tópico Níveis de Habilidade.49
também os mesmos alunos (subamostra) durante todo o processo de aprendizagem.Como já comentado, a utilização de itens “âncora” possibilita comparaçãoentre os diferentes momentos avaliativos (conseqüente equalizaçãodos diferentes testes) sem, por um lado, requerer a aplicação sempre aosmesmos estudantes, permitindo que a alta mortalidade amostral inerente aosestudos longitudinais tenha pouca interferência na apuração dos resultadoscoletados e, por outro lado, minimizando os efeitos da memorização dositens pelos alunos que já os responderam anteriormente.5.5. SISTEMÁTICA DE APLICAÇÃOA decisão sobre a sistemática de aplicação a ser adotada acompanhaconsiderações sobre os aspectos políticos e éticos que permeiam um processode avaliação, além, obviamente, dos custos envolvidos em cada uma dasopções disponíveis e a precisão de resultados que permitem alcançar. Sob oaspecto da ética, em particular, deve-se buscar, como objetivo essencial, queo processo de avaliação cause o menor desconforto possível no dia-a-dia doalfabetizando, sob o risco de o sistema educacional “perdê-lo” novamente.Em termos metodológicos, as propostas quanto aos tipos de aplicaçãoseguem na linha da universalização dos procedimentos – regras de condutauniformes para toda a amostra pesquisada –, exceto no que se refere à realizaçãodo estudo longitudinal, no qual os procedimentos sofreriam variaçõesem relação ao padrão geral, entretanto também seriam mantidos fixos nasubamostra avaliada longitudinalmente.A sistemática de aplicação deve considerar que a avaliação do Projeto é,em sua essência, uma avaliação em larga escala, projetada para atender umgrande contingente de alunos. Sendo assim, é necessário definir uma práticade aplicação na qual se pese o ônus financeiro, bem como as questões deuniformidade dos procedimentos, já que a falta de padronização pode sermotivo de dificuldades quanto à comparabilidade das informações obtidasdos alunos, das turmas e temporalmente.Basicamente, existem duas modalidades de aplicação possíveis para a avaliaçãode competências: individual e coletiva, cada qual com suas vantagens e desvantagense, portanto, maior ou menor adequação a determinados objetivosde pesquisa e/ou avaliação.A aplicação individual ganha maior sentido quando o objetivo não estácalcado apenas na avaliação das habilidades adquiridas no processo de50
- Page 7 and 8: 4.2. Escopo da Matriz de Competênc
- Page 10: APRESENTAÇÃOO presente relatório
- Page 14 and 15: 1. INTRODUÇÃOO Projeto SESI - Por
- Page 16: 1.2.A PARTICIPAÇÃO DA INDÚSTRIA
- Page 19 and 20: O Sistema de Avaliação fundamenta
- Page 21 and 22: c. Assistir escolas e programas par
- Page 23: Machado (2002) expõe com muita pro
- Page 26 and 27: Numerização possibilita interpret
- Page 28 and 29: O principal desafio que se coloca p
- Page 30 and 31: citada por Nunes e Bryant (1997, p.
- Page 32 and 33: 4. AS MATRIZES DE COMPETÊNCIASE HA
- Page 34 and 35: 4.2. ESCOPO DA MATRIZ DECOMPETÊNCI
- Page 36 and 37: 5. FUNDAMENTAÇÃOMETODOLÓGICA DA
- Page 38 and 39: zadas, como é o caso dos sistemas
- Page 40 and 41: No que se refere ao aluno, pelo men
- Page 42 and 43: também desvantagens, tendo como um
- Page 44 and 45: 5.3. INSTRUMENTOS DE APLICAÇÃO(CA
- Page 46 and 47: cialmente uma questão que apresent
- Page 48 and 49: chaleira sobre o fogão; (3) acende
- Page 52 and 53: aprendizagem, mas quando se busca c
- Page 54 and 55: conhecimentos e experiência muito
- Page 56 and 57: guia de marcação específica e im
- Page 58 and 59: 5.7.1.TEORIA CLÁSSICA DOS TESTES (
- Page 60 and 61: a) Os escores verdadeiros são igua
- Page 62 and 63: onde,A: número de sujeitos que ace
- Page 64 and 65: não é capaz de fazer predições
- Page 66 and 67: aumenta o nível de habilidade atri
- Page 68 and 69: ilidade zero de acertar o item. Sen
- Page 70 and 71: Figura 5.7.2.3.4.1 - CCI do modelo
- Page 72 and 73: Figura 5.7.2.3.4.2 - Curva de respo
- Page 74 and 75: 6. A AVALIAÇÃO DOS ALFABETIZANDOS
- Page 76 and 77: ∆ = 13 + 4zonde z representa os v
- Page 78 and 79: mesmo quando comparada com a profic
- Page 80 and 81: A atividade requeria que o aluno id
- Page 82 and 83: ecebem em um bilhete pode ter atra
- Page 84 and 85: palavra “passa”. O texto utiliz
- Page 86 and 87: senta tipos diferentes de placa de
- Page 88 and 89: Para aferir essa habilidade, os alu
- Page 90 and 91: Observou-se que 75% dos estudantes
- Page 92 and 93: 6.3. PERCENTUAL DE ACERTO POR ITEME
- Page 94 and 95: Quatro caixas, de tamanhos proporci
- Page 96 and 97: melhores as possibilidades de compr
- Page 98 and 99: Ao apresentar uma situação-proble
a utilização de itens “âncora” não será efetiva se seu contexto, sua posição esua ordem forem modifica<strong>do</strong>s; (c) é aconselhável que, quan<strong>do</strong> o teste deligação integrar as outras formas, seja evita<strong>do</strong> usar os itens da última parte daprova como itens “âncora”, quan<strong>do</strong> o efeito da “pressa de terminar a prova” émaior e; (d) o conjunto de itens “âncora” <strong>do</strong> teste de ligação deve ser representativo<strong>do</strong> total de itens da prova a ser equalizada e eles devem ser idênticosem todas as formas. Referin<strong>do</strong>-se a esta última regra, Angoff (1984) afirmaque o teste de ligação deve consistir de não menos <strong>do</strong> que vinte por cento <strong>do</strong>número de itens de cada <strong>um</strong>a das formas. A avaliação de competências é compostapor aproximadamente 35% de itens “âncora” de <strong>um</strong> total de 154 itens.Segun<strong>do</strong> Lord (1980), para <strong>um</strong>a mensuração acurada, o nível de dificuldadede <strong>um</strong> teste deve estar apropria<strong>do</strong> ao nível de habilidade <strong>do</strong> examinan<strong>do</strong>. Umteste que é muito difícil para <strong>um</strong> examinan<strong>do</strong> pode tornar-se demasia<strong>do</strong>desanima<strong>do</strong>r ou ter outros efeitos indesejáveis. <strong>Por</strong> seu turno, a aplicação de<strong>um</strong> teste fácil demais não possibilitaria o estabelecimento <strong>do</strong> nível de habilidadealcança<strong>do</strong> pelos estudantes mais competentes.Dessa forma, as avaliações de competências, para o estu<strong>do</strong> longitudinal,apresentam ainda <strong>um</strong>a dificuldade crescente para os diferentes momentosavaliativos (de entrada, de processo e de saída). Para a avaliação de entrada, omaior número de itens (aproximadamente oitenta por cento <strong>do</strong> Caderno deAtividades) recai sobre itens de sondagem, que têm como principal objetivoidentificar as habilidades que o aluno já traz consigo para o curso. Nas avaliaçõesseguintes, de processo, os itens estão calca<strong>do</strong>s em habilidades commaior nível de complexidade; constituin<strong>do</strong> Cadernos que apresentam maiorpeso sobre as habilidades básicas. Essas avaliações pretendem verificar o<strong>do</strong>mínio de habilidades que permitem ao indivíduo inclusão socialfuncional. <strong>Por</strong> fim, a avaliação de saída mescla atividades embasadas emhabilidades básicas e habilidades de nível intermediário. Considera-se que ascompetências estão <strong>do</strong>minadas pelos alunos que solucionam corretamenteas tarefas desses níveis. Além disso, a inclusão de atividades de nível intermediáriopermite verificar ao final <strong>do</strong> processo se existem alunos que atingiramníveis de aquisição superiores ao que era espera<strong>do</strong> para <strong>um</strong> curso de seismeses de duração 15 .Em função dessas considerações é que o Sistema de Avaliação de Competênciaspropõe-se a utilizar itens de ligação entre as avaliações, acompanhan<strong>do</strong>15. Para mais detalhes sobre as habilidades ver tópico Níveis de Habilidade.49