Scarica il documento (PDF, 875KB) - Vivere in Italia

Costruzione dei test e
valutazione
delle competenze
linguistico-comunicative
Mantova
22 gennaio 2013
Anna Maria Arruffoli

NEL QCER
la valutazione e il L.T.
assumono un ruolo decisivo
sia all'interno del processo educativo
sia nella misurazione delle competenze
linguistiche in un dato momento
del loro sviluppo

IL TEST
serve a una più oggettiva valutazione
di quello che un apprendente sa e sa fare
Significa anche
Accettare trasparenza e chiarezza di contenuti
Rinunciare alla completa soggettività del
giudizio

COMPETENZE LINGUISTICO-
COMUNICATIVE
CONOSCENZE lessicali, morfosintattiche.
ABILITÀ di riconoscerle, organizzarle,
gestirle
CONOSCENZA delle convenzioni sociali
(regole di cortesia, rapporti tra
generazioni, sessi, classi, gruppi sociali)‏
USO funzionale della lingua

DIMENSIONI DELL’APPRENDIMENTO
DELLA L2 SECONDO IL QCER
• DIMENSIONE VERTICALE: la scala ascendente di livelli
che segnano il continuum della competenza
• DIMENSIONE ORIZZONTALE: parametri di gestione
dell’attività comunicativa (ambiti e domini d’uso della
L2, contesti di comunicazione, abilità, testi)

locutore/
apprendente
COMPETENTE
locutore/
apprendente
AUTONOMO
C2
C1
B2
B1
A2
A1
Comprende con facilità praticamente tutto ciò che sente o legge. Sa riassumere informazioni
provenienti da diverse fonti sia parlate che scritte, ristrutturando gli argomenti in una
presentazione coerente. Sa esprimersi spontaneamente, in modo molto scorrevole e preciso,
individuando le più sottili sfumature di significato in situazioni complesse.
Comprende un'ampia gamma di testi complessi e lunghi e ne sa riconoscere il significato
implicito. Si esprime con scioltezza e naturalezza. Usa la lingua in modo flessibile ed efficace per
scopi sociali, professionali e accademici. Riesce a produrre testi chiari, ben costruiti, dettagliati
su argomenti complessi, mostrando un sicuro controllo della struttura testuale, dei connettori e
degli elementi di coesione.
Comprende le idee principali di testi complessi su argomenti sia concreti che astratti, comprese
le discussioni tecniche nel suo campo di specializzazione. È in grado di interagire con una certa
scioltezza e spontaneità che rendono possibile un'interazione naturale con i parlanti nativi senza
sforzo per l'interlocutore. Sa produrre un testo chiaro e dettagliato su un'ampia gamma di
argomenti e spiegare un punto di vista su un argomento fornendo i pro e i contro delle varie
opzioni.
Comprende i punti chiave di argomenti familiari che riguardano la scuola, il tempo libero, ecc.
Sa muoversi nella maggioranza delle situazioni che possono verificarsi mentre viaggia nel Paese
in cui si parla la lingua. È in grado di produrre un testo semplice relativo ad argomenti che
siano familiari o di interesse personale. È in grado di descrivere esperienze ed avvenimenti,
sogni, speranze ed ambizioni e spiegare brevemente le ragioni delle sue opinioni e dei suoi
progetti.
Comprende frasi ed espressioni usate frequentemente relative ad ambiti di immediata rilevanza
(es. informazioni personali e familiari di base, fare la spesa, la geografia locale, l'occupazione).
Comunica in attività semplici e di routine che richiedono un semplice scambio di informazioni su
argomenti familiari e comuni. Sa descrivere in termini semplici aspetti del suo background,
dell'ambiente circostante. Sa esprimere bisogni immediati.
Comprende e utilizza espressioni di uso quotidiano e frasi basilari tese a soddisfare bisogni di
tipo concreto. Sa presentare se stesso/a e gli altri ed è in grado di fare domande e rispondere
su particolari personali come dove abita, le persone che conosce e le cose che possiede.
Interagisce in modo semplice purché l'altra persona parli lentamente e chiaramente e sia
disposta a collaborare.

TEST COME STRUMENTO DI
MISURA
Test: procedura elaborata per elicitare
comportamenti dai quali poter fare
inferenze su determinate caratteristiche/
competenze di un individuo

I limiti della misurazione della
competenza linguistico–comunicativa
metrologico (non è possibile utilizzare
procedimenti di misura in cui si parta da 0 come
assenza assoluta e si proceda attraverso
un’articolazione di unità uguali e costanti)‏
la misurazione è quasi sempre incompleta
la misurazione è pressoché indiretta
la misurazione avviene in situazioni artificiali
rispetto ai comportamenti che vengono
sollecitati per essere sottoposti a controllo

VALUTAZIONE
DEL PROFITTO:
accerta se è stato appreso ciò che è stato
insegnato. Rappresenta un punto di vista
interno alla disciplina
DELLA COMPETENZA: riguarda
ciò che un individuo sa fare/
conosce con riferimento al mondo reale.
Rappresenta un punto di vista esterno

TIPI DI TEST
Placement test – test di ingresso
funzione diagnostica
Achievement test – test di profitto
funzione formativa e sommativa
Proficiency test – test di competenza
funzione prognostica

MISURAZIONE E
VALUTAZIONE DELLA
COMPETENZA
Requisiti fondamentali dei test:
validità
affidabilità
economicità
impatto

VALIDITÀ
un test è valido se misura quello che
si propone di misurare
Validità del test per
il costrutto (construct validity)
il contenuto (content validity)
= PERTINENZA
l'apparenza esterna (face validity)
= ACCETTABILITÀ

VALIDITÀ DELL’UTILIZZO DI UN TEST
DOPO UNA PRIMA
SOMMINISTRAZIONE
la validità concorrente
(concurrent validity)
= COMPARABILITÀ
la validità predittiva
(predictive validity)

AFFIDABILITÀ
Per affidabilità di un test si intende
la sua STABILITÀ:
un test è affidabile quando è in grado di
fornire risultati uguali se somministrato o
valutato in tempi differenti e da persone
differenti
è una qualità necessaria, ma non sufficiente
mentre la validità è teorica, la affidabilità è
sperimentale

FATTIBILITÀ, ECONOMICITÀ
RAPPORTO
costi/risorse - qualità/prezzo/risultati
(prove oggettive/soggettive, ore,
sperimentazione, modalità di
somministrazione, numero valutatori ecc.)

IMPATTO
a livello individuale
formativo, lavorativo
a livello collettivo
diritti di cittadinanza
effetto washback
ricadute sull'insegnamento/apprendimento

ETICA
Trasparenza e formalizzazione
delle scelte e delle procedure
Consapevolezza delle responsabilità
sociali insite nel lavoro di costruttore dei
test

LE FASI DEL PROCESSO DI
VALUTAZIONE
Determinare lo scopo
Definire il contenuto
Preparare il test
Stabilire i criteri di correzione e
assegnazione del punteggio
Somministrare il test
Interpretare i risultati

LE FASI DEL PROCESSO DI
VALUTAZIONE
1ª Fase:
Il COSTRUTTO
gli aspetti delle conoscenze/competenze
che si intende testare (costruiamo un test
per verificare che cosa? Per quale
utente?)‏

LE FASI DEL PROCESSO DI
VALUTAZIONE
2ª Fase:
IL CONTENUTO
ciò che un test contiene in termini di testi,
compiti, tipi e numero di item, attività,
tempo a disposizione

LE FASI DEL PROCESSO DI
VALUTAZIONE
Fare un inventario accurato degli elementi
di conoscenza e/o competenza che
devono essere oggetto di valutazione
Stabilire la lunghezza massima del test
Stabilire le tipologie di prova più adatte
agli scopi della verifica

LE FASI DEL PROCESSO DI
VALUTAZIONE
Scegliere il TESTO più adatto
Scegliere il LESSICO in base all'obiettivo e
al livello

TESTI PARLATI E SCRITTI
PER ABILITÀ RICETTIVE
Devono essere gestibili dall'apprendente.
Nella costruzione delle prove si devono
selezionare i testi per:
TIPOLOGIA
LUNGHEZZA
LESSICO
TIPO DI PUBBLICO E LIVELLO al quale può essere
destinato
TIPO DI TEST per il quale il testo è più adeguato
•

TIPOLOGIE TESTUALI
• DESCRIZIONE disposizione nello spazio
• NARRAZIONE seriazione, collocazione
temporale
• ARGOMENTAZIONE gestione articolata di
concetti astratti
• ESPOSIZIONE - REGOLAZIONE

IL CRITERIO DELL’IMPORTANZA PER
L’APPRENDENTE
motivazione
sostiene gli sforzi
di comprensione
dell’apprendente
interesse personale a
entrare nel contenuto di
un testo
Un fattore che può ostacolare la comprensione è la
presenza di unità lessicali di bassa frequenza (termini
tecnici o nomi propri), che può essere annullato dalla
familiarità con un determinato contenuto

TESTI PARLATI E SCRITTI
PER ABILITÀ RICETTIVE

Il criterio della struttura del discorso
Regole strutturali interne di un testo che riducono la
complessità nella gestione dell’informazione, in
considerazione di diversi fattori:
" la coerenza testuale sul piano del contenuto e la
chiara organizzazione tematico-strutturale
(sequenze temporali e punti principali chiaramente
segnalati e presentati prima della loro illustrazione)
" la coesione, determinata dai legami formali fra le
diverse parti
" la natura implicita o esplicita
dell’informazione
" l’assenza di contraddizioni

La leggibilità
• Indica la probabilità che le caratteristiche
lessicali e morfosintattiche di un testo ne
influenzino la comprensibilità
• Tanto più un testo è leggibile e tanto più si
attua con facilità la cooperazione testofruitore

La leggibilità
• Per misurare la leggibilità ci sono molte formule. Per l’italiano le più
usate sono
FORMULA DI FLESCH-VACCA
F=206 – (0,6 X S) – P
FORMULA GULPEASE
F=89 – (LP:10)+(FRX3)

Quali sono i ‘contro’ dei testi ad alta
leggibilità?
• Problemi di tipo linguistico:
“mancanza di stile” dei testi
Esempio
(da Amulfi M., Nuovo binario realtà, Sussidiario per la classe IV, Il Capitello)
A La presenza dei grandi laghi riesce a modificare il
clima circostante; la massa d'acqua rende la
temperatura sempre mite e le cittadine che sorgono
sulle loro rive sono rinomate località turistiche
estive ed invernali. (testo originale)
B L'acqua dei grandi laghi scalda la terra intorno a
loro; per questo tanti turisti vanno in vacanza nelle
città vicino ai laghi, in estate e in inverno. (testo
riscritto)

SEMPLIFICAZIONE TESTUALE
• Lessico
• Senso logico e
cronologico
• Frasi brevi
• Ridondanza
• S – V – O
• Modi verbali finiti
• Forma attiva
No forme impersonali
No negazioni multiple
No ambiguità di scopo
Titolo
Immagini
Accorgimenti grafici

Aspetti fisici

LE FASI DEL PROCESSO DI
VALUTAZIONE
3° Fase: COSTRUZIONE DEL TEST
CREARE il test, definire le chiavi e i criteri
Decidere i TEMPI di somministrazione del
test e somministrarlo

I TEST: SCELTA DEL METODO
tecniche per la verifica delle abilità ricettive:
scelta multipla, vero/falso, individuazione di
informazioni, domande semistrutturate
(test paper and pencil, McNamara 2000)
compiti per la verifica delle abilità produttive:
composizioni guidate, brevi saggi
(performance test, McNamara 2000)

CLASSIFICAZIONE DEI TEST
DAL PUNTO DI VISTA COGNITIVO
test a punti discreti
si focalizzano su un singolo elemento della
lingua alla volta, o una abilità alla volta
test integrati
cercano di misurare la capacità di usare
più elementi insieme

TIPOLOGIE DI PROVE/TEST
PROVE OGGETTIVE
scelta multipla
vero/falso
individuazione
informazioni
cloze test
abbinamento
ricostruzione
PROVE SOGGETTIVE
produzione scritta
produzione orale

CLASSIFICAZIONE DEI TEST DAL
PUNTO DI VISTA
DELL’ATTRIBUZIONE DEI PUNTEGGI
OGGETTIVI
La correttezza della
risposta è già
determinata al
momento della
stesura del test.
NON è richiesto il
giudizio del
valutatore
SOGGETTIVI
È necessaria la
presenza di un
VALUTATORE che si
esprime sulla
correttezza della
risposta, basandosi
su criteri e scale di
valutazione

VANTAGGI E LIMITI
DELLE PROVE OGGETTIVE
Oggettività
Risparmio di tempo per la
valutazione
Rapidità e facilità di uso
Simultaneità delle
misurazioni
Si limita la libertà di
espressione degli studenti
Necessità di molto tempo
per la costruzione
Casualità delle risposte
Misurazione solo di alcuni
aspetti dell’apprendimento

CRITERI GENERALI per le
PROVE OGGETTIVE
Linguaggio adeguato ai destinatari
Stimoli brevi ed essenziali
Non fare tranelli
Non chiedere cose banali o sciocche
Non fare domande risolvibili in base al buon senso o alla
cultura generale
Le risposte sbagliate non devono essere né ingenue né
raffinate, ma adeguate alla preparazione degli
apprendenti

TIPOLOGIE DI PROVE
scelta multipla
E’ il tipo di test più adeguato per la verifica
della comprensione scritta e orale.
La scelta multipla può essere usata per testare un solo
elemento come nella verifica del lessico
test a punti discreti
o testare più elementi insieme come nella verifica della
comprensione scritta o orale
test integrato

TIPOLOGIE DI PROVE
scelta multipla
Domanda o frase da completare (stem/quesito)
contrassegnato da un numero
3 o 4 risposte o affermazioni contrassegnate da una
lettera
2 o 3 distrattori risposte o alternative non esatte ma
plausibili
1 sola risposta esatta

REGOLE per la costruzione di
test a scelta multipla
La domanda/affermazione deve
focalizzare con precisione un SOLO nodo
informativo o concetto
Usare DISTRATTORI PLAUSIBILI.
Ogni distrattore deve, per contenuto e
natura, risultare in qualche modo
collegato alle domande

REGOLE per la costruzione di
test a scelta multipla
Fare in modo che i quesiti siano tra loro
INDIPENDENTI
Non usare ALCUNA risposta precedente come
distrattore o come risposta corretta in altri
quesiti
Non collocare la risposta corretta di ogni item
nella stessa posizione
Evitare che elementi grammaticali o la struttura
delle frasi favoriscano la scelta

TIPOLOGIE DI PROVE
individuazione di informazioni
Test che consiste nel presentare all’apprendente
una serie di AFFERMAZIONI/FRASI su un testo
letto o ascoltato.
Chi fa il test deve indicare se queste informazioni
sono o NON sono presenti nel testo.
Si usa nella comprensione scritta e orale.
E’una forma più elaborata del Vero/falso.

TIPOLOGIE DI PROVE
ricostruzione o riordino
Il testo originale viene spezzettato in varie
sequenze che poi sono mescolate
Chi fa il test deve riordinare le sequenze e
ricostruire il testo
Il test a riordino si basa sull’analisi e
l’individuazione di legami testuali. Mette in gioco
più conoscenze e competenze nello stesso
tempo: si deve infatti ricostruire il testo in base
al contenuto e alla sequenza logica, al lessico,
ai connettivi temporali, spaziali e causali

Somministrazione
AMBIENTE
Le prove si devono svolgere in un luogo
adeguato per spazi e attrezzature
Si dovrebbero eliminare tutti gli elementi di
disturbo (distrazioni, rumori, interferenze,
interruzioni ecc.)
Più rilassato è il candidato, più potrà dare una
prova migliore della sua competenza

Le prove soggettive
Prove di produzione scritta
Prove di produzione orale

Somministrazione
Chiarezza e pertinenza delle istruzioni
Tempo adeguato allo svolgimento del compito

Somministrazione della prova
orale
L'esaminatore deve stare attento al tono che usa
nell'interazione. Può essere
Troppo professorale
Scostante
Incoraggiante
Accondiscendente
Troppo accondiscendente

Somministrazione della prova
Dovrebbe cercare di
Fare poche domande chiuse
Fare domande di rilancio
Non fare domande complesse o poco
comprensibili
Non fare domande troppo lunghe
orale

VALUTAZIONE
MISURARE: Calcolare la misura di
qualcosa in rapporto ad un determinato
strumento di misura
VALUTARE: attribuire un valore a una
misurazione

VALUTAZIONE DELLE PROVE
SOGGETTIVE
Valutazione globale
Valutazione con griglie che limitano la
soggettività del valutatore

VALUTAZIONE
Per ridurre al minimo l’intervento di variabili soggettive nella
valutazione delle prestazioni i valutatori cils hanno previsto:
in fase di costruzione del test, una griglia di
valutazione che esplicita i criteri di
riferimento relativi al compito e al livello di
competenza, in base a descrittori della
competenza richiesta

CRITERI DI VALUTAZIONE
DELLA PRODUZIONE SCRITTA
Efficacia comunicativa
registro/adeguatezza
stilistica
adeguatezza di contenuto
correttezza morfosintattica
capacità di trasmettere il
messaggio, l'informazione. Nei
livelli C1 e C2 comprende
prevalentemente la coerenza e
la coesione del testo
uso del registro secondo le
regole pragmatiche e
l'adeguatezza alla tipologia
testuale
adeguatezza e coerenza allo
stimolo dato
uso adeguato delle strutture e
forme previste dal livello

CRITERI DI VALUTAZIONE
DELLA PRODUZIONE SCRITTA
Adeguatezza e ricchezza
lessicale
ortografia e punteggiature
Uso di lessico adeguato al
contesto di comunicazione
rispetto delle convenzioni
ortografiche

GRIGLIA DI VALUTAZIONE
DELLA PRODUZIONE ORALE
INDICATORI
Efficacia comunicativa
adeguatezza di registro e di
varietà linguistica
SOTTOINDICATORI
capacità di comprendere
l'interlocutore, mantenere il
flusso del discorso, interagire
rispettando i turni della
conversazione, mettere in atto
strategie comunicative efficaci
uso del registro formale/
informale secondo le regole
pragmatiche e l'adeguatezza
alla tipologia testuale
richiesta

GRIGLIA DI VALUTAZIONE
della produzione orale
INDICATORI
correttezza morfosintattica
adeguatezza e ricchezza
lessicale
pronuncia e intonazione
SOTTOINDICATORI
uso adeguato delle forme e delle
strutture previste dal livello di
competenza
uso del lessico adeguato al
contesto di comunicazione
padronanza del sistema fonologico
della lingua italiana

Attribuzione dei punteggi
Stabilire il livello di abilità o dominio
Stabilire il punto di taglio
il punteggio minimo che attesta se è stato
raggiunto un dato livello di abilità o la
competenza stabilita nel criterio

Attribuzione dei punteggi
Per le prove chiuse si attribuisce un punteggio
prestabilito per ogni risposta esatta e un
punteggio 0 per ogni risposta sbagliata o
omessa
La penalizzazione per le risposte sbagliate deve
essere introdotta nel caso dei test di
individuazione di informazioni, per evitare che
un apprendente ottenga il punteggio massimo
segnando tutte le risposte

Attribuzione dei punteggi
Scegliere la scala di valutazione in base ai
descrittori della competenza
La CERTIFICAZIONE CILS
nei livelli di base ha un forte peso l'efficacia
comunicativa
nei livelli competenti ha un peso maggiore la
correttezza formale

ANALISI DEI RISULTATI
Un test è tanto più affidabile
quanto più minimizza errori di misura
La misura deve corrispondere alla
competenza reale di chi fa il test

ANALISI DEI RISULTATI
GLI ERRORI DI MISURA possono essere
dovuti a
Caratteristiche del test
Caratteristiche di chi fa il test
Fattori imprevedibili
*La misurazione è sempre incompleta e imprecisa
perché non è possibile partire da uno 0 assoluto e
procedere per unità uguali e costanti

ANALISI DEI RISULTATI
Possibili errori del valutatore nelle prove orali
Effetto “Pigmalione”
Effetto “alone”
Errore di contrasto (dopo una prova scadente)
Errore di assuefazione
Tendenza a raggruppare i voti nella parte centrale della
scala
Variabilità dell'umore (stanchezza, fastidio ecc.)

ANALISI DEI RISULTATI
Difetti degli item
Ambigui, troppo difficili o troppo facili
Se il test è troppo lungo
Le prestazioni saranno migliori nella prima parte e
peggiori nell'ultima
Coerenza dei valutatori
Meglio dare test diversi per misurare la
stessa abilità

BIBLIOGRAFIA
BACHMAN, L. F., 1990, Fundamental considerations in language testing, Oxford, Oxford
University Press.
BACHMAN, L. F / PALMER, A. S., 1996, Language testing in practice,Oxford, Oxford Press.
BROWN, A. D., 2004, Interviewer variability in oral proficiency interviews, Melbourne,
Department of Linguistic and Applied Linguistic, School of Languages, University of
Melbourne.
DAVIES A., 1990, Principles of Language Testing, Oxford-Cambridge, Basil Blackwell.
DE MAURO, T., 1980, Guida all’uso delle parole, Roma, Editori Riuniti.
MCNAMARA, T., 2000, Language Testing, Oxford, Oxford University Press.
VEDOVELLI, M., 2002, Guida all'italiano per stranieri, La prospettiva del Quadro comune
europeo per le lingue, Roma, Carocci.
VEDOVELLI M., a cura di, 2005, Manuale della certificazione dell’italiano L2, Roma, Carocci.