5. FUNDAMENTAÇÃOMETODOLÓGICA DA AVALIAÇÃO *O estabelecimento de <strong>um</strong> modelo de avaliação se dá por meio de <strong>um</strong> jogoentre as diferentes associações de procedimentos, técnicas e meto<strong>do</strong>logias,tornan<strong>do</strong> necessário o estu<strong>do</strong> das várias combinações, onde cada combinaçãopossível resulta n<strong>um</strong> da<strong>do</strong> vol<strong>um</strong>e de custos e em características operacionaise complexidades próprias. A discussão sobre o modelo envolve, portanto,ponderações sobre diversos aspectos indispensáveis para que se possa embasar<strong>um</strong>a proposta de avaliação que delineie em larga escala <strong>um</strong> conjunto depropriedades desejadas.Alguns <strong>do</strong>s aspectos imprescindíveis que devem ser considera<strong>do</strong>s no estabelecimento<strong>do</strong> modelo de avaliação são:5.1. Universo a ser pesquisa<strong>do</strong>;5.2. Méto<strong>do</strong>s de avaliação;5.3. Instr<strong>um</strong>entos de avaliação;5.4. Ligação entre os instr<strong>um</strong>entos;5.5. Sistemática de aplicação;5.6. Correção das avaliações;5.7. Análise <strong>do</strong>s da<strong>do</strong>s de avaliação.5.1. UNIVERSO A SER PESQUISADOO universo a ser pesquisa<strong>do</strong>, ou população-alvo, é defini<strong>do</strong> como atotalidade das turmas cadastradas no <strong>Projeto</strong> <strong>SESI</strong> – <strong>Por</strong> <strong>um</strong> <strong>Brasil</strong> Alfabetiza<strong>do</strong>no início de cada <strong>um</strong>a das etapas <strong>do</strong> <strong>Projeto</strong>. Desse universo são excluídas– ou desconsideradas para efeito de seleção da amostra de avaliação – todasas turmas que porventura apresentem problemas de inconsistência em seusregistros, tais como ausência de endereço, ausência de da<strong>do</strong>s de professor ou* Este capítulo apresenta <strong>um</strong>a proposta meto<strong>do</strong>lógica completa de avaliação de alfabetizan<strong>do</strong>s, muito emboraapenas parte dela tenha si<strong>do</strong> utilizada nessa etapa de pré-testagem.35
supervisor, dentre outros. Em particular, a exclusão de turmas com problemasde registro de da<strong>do</strong>s tem como principal finalidade evitar que essas turmasvenham a ser selecionadas para avaliação, caso em que os da<strong>do</strong>s cadastraisteriam que ser coleta<strong>do</strong>s ou conferi<strong>do</strong>s <strong>um</strong> a <strong>um</strong>, possivelmente via telefone.5.1.1. PROPOSTA DE AMOSTRAGEMComo proposta de trabalho, projeta-se que a avaliação deverá ser limitadaa <strong>um</strong>a amostra aleatória de tamanho aproxima<strong>do</strong> de <strong>um</strong> por cento da populaçãode concluintes <strong>do</strong> nível de alfabetização – com seleção de unidades deatendimento em número fixo. A seleção de <strong>um</strong>a amostra probabilísticatem como principal arg<strong>um</strong>ento a imparcialidade, buscan<strong>do</strong> evitar que aparticipação de quaisquer das unidades de atendimento imponha qualquerinfluência indesejada (ou desejada) sobre os resulta<strong>do</strong>s da avaliação.A definição da amostra envolve, dentre outros, considerações sobrevol<strong>um</strong>es de atendimento das turmas, localização e distribuição da populaçãode alfabetizan<strong>do</strong>s em to<strong>do</strong> o país, custos projeta<strong>do</strong>s de acesso aos locais defuncionamento das turmas, variáveis disponíveis sobre o aluno e sobre aestrutura da própria unidade de atendimento. Envolve, ainda, a fixação deunidades de reposição ou amostra de substituição.5.1.2. ESTRATIFICAÇÃO DA AMOSTRA PRINCIPALDada a amplitude <strong>do</strong> <strong>Projeto</strong> e a premissa de se produzirem resulta<strong>do</strong>scom mesma precisão para diferentes estratos populacionais, prevê-se, emprincípio, etapas de estratificação nos níveis de esta<strong>do</strong> (ou DepartamentoRegional <strong>do</strong> <strong>SESI</strong>), natureza da instituição e vol<strong>um</strong>e de atendimento.Em qualquer <strong>do</strong>s casos, to<strong>do</strong>s os estratos deverão ter <strong>um</strong> número mínimode unidades de atendimento e de alunos para estabelecimento <strong>do</strong>s níveis deprecisão deseja<strong>do</strong>s, ao que se segue a fixação <strong>do</strong>s números de unidades aserem pesquisadas. Estratos muito pequenos normalmente são motivo defusão em grupos maiores, para que, juntos, alcancem o número mínimonecessário de unidades, constituin<strong>do</strong>-se em novos elementos que se prestamà seleção de unidades, evitan<strong>do</strong> prejuízos para a produção de estimativas comprecisão dentro <strong>do</strong> padrão espera<strong>do</strong>.Na seleção de unidades de atendimento, prevê-se o uso de amostragemcom probabilidades proporcionais ao tamanho (KISH, 1995), que permite aprodução de estimativas eficientes em populações aninhadas ou hierarqui-36
- Page 7 and 8: 4.2. Escopo da Matriz de Competênc
- Page 10: APRESENTAÇÃOO presente relatório
- Page 14 and 15: 1. INTRODUÇÃOO Projeto SESI - Por
- Page 16: 1.2.A PARTICIPAÇÃO DA INDÚSTRIA
- Page 19 and 20: O Sistema de Avaliação fundamenta
- Page 21 and 22: c. Assistir escolas e programas par
- Page 23: Machado (2002) expõe com muita pro
- Page 26 and 27: Numerização possibilita interpret
- Page 28 and 29: O principal desafio que se coloca p
- Page 30 and 31: citada por Nunes e Bryant (1997, p.
- Page 32 and 33: 4. AS MATRIZES DE COMPETÊNCIASE HA
- Page 34 and 35: 4.2. ESCOPO DA MATRIZ DECOMPETÊNCI
- Page 38 and 39: zadas, como é o caso dos sistemas
- Page 40 and 41: No que se refere ao aluno, pelo men
- Page 42 and 43: também desvantagens, tendo como um
- Page 44 and 45: 5.3. INSTRUMENTOS DE APLICAÇÃO(CA
- Page 46 and 47: cialmente uma questão que apresent
- Page 48 and 49: chaleira sobre o fogão; (3) acende
- Page 50 and 51: a utilização de itens “âncora
- Page 52 and 53: aprendizagem, mas quando se busca c
- Page 54 and 55: conhecimentos e experiência muito
- Page 56 and 57: guia de marcação específica e im
- Page 58 and 59: 5.7.1.TEORIA CLÁSSICA DOS TESTES (
- Page 60 and 61: a) Os escores verdadeiros são igua
- Page 62 and 63: onde,A: número de sujeitos que ace
- Page 64 and 65: não é capaz de fazer predições
- Page 66 and 67: aumenta o nível de habilidade atri
- Page 68 and 69: ilidade zero de acertar o item. Sen
- Page 70 and 71: Figura 5.7.2.3.4.1 - CCI do modelo
- Page 72 and 73: Figura 5.7.2.3.4.2 - Curva de respo
- Page 74 and 75: 6. A AVALIAÇÃO DOS ALFABETIZANDOS
- Page 76 and 77: ∆ = 13 + 4zonde z representa os v
- Page 78 and 79: mesmo quando comparada com a profic
- Page 80 and 81: A atividade requeria que o aluno id
- Page 82 and 83: ecebem em um bilhete pode ter atra
- Page 84 and 85: palavra “passa”. O texto utiliz
- Page 86 and 87:
senta tipos diferentes de placa de
- Page 88 and 89:
Para aferir essa habilidade, os alu
- Page 90 and 91:
Observou-se que 75% dos estudantes
- Page 92 and 93:
6.3. PERCENTUAL DE ACERTO POR ITEME
- Page 94 and 95:
Quatro caixas, de tamanhos proporci
- Page 96 and 97:
melhores as possibilidades de compr
- Page 98 and 99:
Ao apresentar uma situação-proble
- Page 100 and 101:
O alfabetizador pode sugerir vivên
- Page 102 and 103:
propor a resolução de situações
- Page 104 and 105:
de créditos parciais de cada item;
- Page 106 and 107:
Atividade 11Tabela 6.4.1.2 - Sumár
- Page 108 and 109:
6.4.2.ANÁLISE DE ITENS SELECIONADO
- Page 110 and 111:
Atividade 22Tabela 6.4.2.2 - Sumár
- Page 112 and 113:
6.5. PERCENTUAL DE ACERTO POR ITEM
- Page 114 and 115:
Além disso, os item 21 e 22 de num
- Page 116 and 117:
informações selecionadas na leitu
- Page 118 and 119:
De acordo com o gráfico ‘a’ de
- Page 120 and 121:
Segundo o gráfico ‘a’ de lingu
- Page 122 and 123:
7. VALIDADE DO TESTEA validade cons
- Page 124 and 125:
Gráfico 7.1.1 - Scree plot da aval
- Page 126 and 127:
A tabela 7.1.2 apresenta a análise
- Page 128 and 129:
Ao se analisarem as curvas de infor
- Page 130 and 131:
8. CONCLUSÃOAs diferentes análise
- Page 132 and 133:
isco social, por exemplo, dificulta
- Page 134 and 135:
Esse tipo de circunstâncias procur
- Page 136 and 137:
REFERÊNCIAS BIBLIOGRÁFICASABRANTE
- Page 138 and 139:
LORD, F.M. Applications of item res
- Page 140 and 141:
ANEXOS
- Page 142 and 143:
141
- Page 144 and 145:
143
- Page 146 and 147:
145
- Page 148:
147