6. Testu uzdevumu novērtēšana

6. Testu uzdevumu novērtēšanaParasti veidojot testus, pirmkārt, tiek atlasīti atbilstoši uzdevumi – tiek veidotauzdevumu banka. No šiem uzdevumiem tiek veidoti pilottesti. To uzdevums iratstrādāt visas procedūras, kas saistītas ar projektējamo testu, tomēr pilottestugalvenais uzdevums ir piemērotāko uzdevumu atlase.Par cik šis darbs veltīts tikai datu apstrādei, tad šeit nepakavēsimies pie uzdevumuveidošanas principiem un paĦēmieniem, bet apskatīsim tikai uzdevumu statistiskoapstrādi. Parasti katram uzdevumam tiek izrēėināti divi līdz četri parametri, pēckuriem var spriest par uzdevuma piemērotību veidojamajam testam. Šie parametri ir:• uzdevuma grūtība;• uzdevuma diskriminācija;• vairākatbilžu izvēles uzdevumiem – katra atbildes izvēles biežums;• point biseriālais koeficients.Jāpiemin, ka arī pēc pamattesta nepieciešams veikt uzdevumu analīzi, unnepieciešamības gadījumā kādu uzdevumu izslēgt no testa kopīgiem rezultātiem.6.1. Uzdevumu grūtībaJa uzdevumi ir dihotomi (piemēram, vairākatbilžu izvēles uzdevumi, kuros tikai vienaatbilde ir pareiza), tad uzdevumu grūtība ir pareizi atbildējušo resondentu skaitadalījums ar visu respondentu skaitu.p i = N ip /N,kurp i – i-tā uzdevuma grūtība,N ip – respondentu skaits, kuri i-to uzdevumu atrisinājuši pareizi,N – kopējais respondentu skaits.1

Ja uzdevumam var būt vairākas vērtējuma iespējas, tadpi=1NN∑j=1Xijp i – i-tā uzdevuma grūtība,X ij –j-tā respondenta i-tā uzdevumā iegūto punktu skaits,N – kopējais respondentu skaits.Ja uzdevums ir viegls, tad uzdevumu grūtības koeficients ir augsts, ja uzdevums irgrūts – tad zems. Optimālā uzdevumu grūtības pakāpe ir atakrīga no testa mērėiem. Jatests ir veidots reflektantu atlasei un konkurss ir liels, tad arī uzdevumu grūtībaspakāpei jābūt augstai.Piemērs. No 30 respondentiem uzdevumu pareizi izrēėināja 18. Kāda ir uzdevumagrūtība?Atrisisnājums ir acīmredzams: pi = N ip /N = 18/30 = 0,6. Kādreiz uzdevumu grūtībuizsaka arī procentos, šajā gadījumā tas ir 60%.6.2. Uzdevumu diskriminācijas indekssUzdevumu diskriminācijas indekss norāda, cik labi konkrētais uzdevums sadala(diskriminē) respondentus. Ja augstskolas iestājeksāmenā kādu uzdevumu ganlabākie, gan sliktākie reflektanti (konkrētā testa nozīmē) izrēėinās uzdevumu vienādilabi, tad šis uzdevums neder par testa uzdevumu, jo neatdala labākos no sliktākajiem.Pastāv sekojošs uzdevumu vērtējums pēc diskriminācijas indeksaDiskriminācijas indekss Uzdevuma vērtējums0,40 un augstāks ěoti labs uzdevums0,30 līdz 0,39 Labs uzdevums0,20 līdz 0,29 Lietojams uzdevums2

15 13 3 4516 14 2 3117 15 1 4018 16 2 2719 17 1 1320 18 1 5021 19 1 3322 20 3 3723 21 3 3224 22 3 1725 23 3 2826 24 2 4727 25 2 3628 26 4 3529 27 4 4130 28 3 1131 29 2 1232 30 2 3333 31 2 2934 32 2 4835 33 4 3036 34 2 4237 35 2 5738 36 2 4039 37 1 2940 38 1 2541 39 2 3242 40 4 15Vispirms tabulu jāsakārto pēc testa rezultātiem.4

6.2. tabula. Tabula sakārtota pēc testu rezultātiemA B C D2 Skolēna Atbilde uz PunktiID I-to visā testāuzdevumu3 35 2 574 8 2 535 7 2 516 18 1 507 32 2 488 24 2 479 13 3 4510 6 2 4211 34 2 4212 12 2 4113 27 4 4114 15 1 4015 36 2 4016 20 3 3717 25 2 3618 26 4 3519 19 1 3320 30 2 3321 21 3 3222 39 2 3223 1 4 3124 3 1 3125 14 2 3126 2 1 3027 9 3 3028 33 4 3029 31 2 295

30 37 1 2931 5 3 2832 23 3 2833 16 2 2734 10 4 2635 38 1 2536 4 1 2237 11 2 1938 22 3 1739 40 4 1540 17 1 1341 29 2 1242 28 3 11Tā kā grupā ir 40 respondenti, tad 25% no tiem ir 10 respondenti. Pirmajā ceturtdaĜāpareizi atbildēto uzdevumu skaitu atrod pēc formulas =COUNTIF(C3:C12;”=2”),ceturtajā ceturtdaĜā – pēc formulas =COUNTIF(C33:C42;”=2”). Pirmais skaitlis ir 8,otrais skaitlis ir 3. tātad diskriminācijas indekss ir (8-3)/10 = 5/10 = 0,5, kas vērtējamskā Ĝoti augsts.6.3. Atbilžu izvēles biežuma noteikšanaNoteikt izvēlēto atbilžu relatīvo biežumu ir vienkārši – jāsaskaita cik katra noatbildēm ir izvēlēta un jāizdala ar kopējo atbilžu skaitu. Aplūkojot iepriekšējās sadaĜaspiemēru (6.1. tabula) to var izdarīt lietojot formulas:=COUNTIF(C3:C42;”=1”)/COUNT(C3:C42),=COUNTIF(C3:C42;”=2”)/COUNT(C3:C42),=COUNTIF(C3:C42;”=3”)/COUNT(C3:C42),=COUNTIF(C3:C42;”=4”)/COUNT(C3:C42).6

6.4. Point biseriālā korelācijas koeficenta noteikšanaJa starp diviem mainīgajiem, kuri ir mērīti intervālu vai proporcionālajās skalās,korelāciju rēėina ar Pirsona korelācijas koeficientu, tad starp mainīgajiem, no kuriemviens ir dihotomiskajā skalā un otrs – intervālu vai proporcionālajā skalā, korelācijurēėina lietojot point biseriālo korelācijas koeficentu.rit=xc− xsp1−pkurr it – point biseriālais korelācijas koeficents,x - aritmētiski vidējais testa punktu skaits visiem respondentiem,xc- aritmētiski vidējais testa punktu skaits tiem respondentiem, kuri šajāuzdevumā izdarījuši attiecīgo izvēli vai ieguvuši attiecīgo punktu skaitu,s – visa testa standartnovirze,p – respondentu daĜa, kuri šajā uzdevumā izdarījuši attiecīgo izvēli vaiieguvuši attiecīgo punktu skaitu.Uzdevumu vērtēšanā point biseriālo korelācijas koeficentu lieto gan vairākatbilžuizvēles uzdevumos, gan “pareizs – nepareizs” tipa uzdevumos, gan brīvo atbilžuuzdevumos.Vairākatbilžu izvēles uzdevumos point biseriālo korelācijas koeficentu rēėina katramatbilžu variantam attiecībā pret kopējo testa novērtējumu. Ja uzdevums ir labs, tadpareizais atbilžu variants dos pozitīvu korelāciju ar visu testa rezultātu, betnepareiziem variantiem jādod negatīvs korelācijas koeficents.Ja uzdevums ir “pareizs – nepareizs” tipa vai brīvas atbildes uzdevums par kurš tiekvērtēts kā pareizs un nepareizs, tad korelācijas koeficents tiek rēėināts gan attiecībāpret pareizo atbildi (nosacīti varam apzīmēt ar 1), gan pret nepareizo atbildi(nosacītais apzīmējums 0). Testā nedrīkst ietvert uzdevumus, kam “0” korelācija arvisu testu nav negatīva un “1” korelācija ar visu testu nav pozitīva.7

Ja uzdevums tiek vērtēts ar vairākiem punktiem (piemēram, 0 – nepareizs, 1 – daĜējipareizs, 2 – daĜēji pareizs, 3 – pilnīgi pareizs), tad korelācijas koeficenti tiek rēėinātikatram iespējamam vērtējuma punktu variantam. 1996. gadā TIMSS pētījumā vienumatemātikas uzdevumu bija rēėinājuši 1075 sākumskolas skolēnu. Šis uzdevums tikavērtēts ar 0, 1, 2 vai 3 punktiem. 105 skolēni nebija testā sasnieguši šo uzdevumu, t.i.uz šo un aiz šī uzdevuma esošie citi uzdevumi nebija risināti. No uzdevumu analīzesšos skolēnus jāizslēdz. No pārējiem skolēniem nevienu punktu nebija ieguvuši 31%,vienu punktu – 34%, divus punktus – 18%, trīs punktus – 8%, bet 9% nebijaatbildējuši (N). Principā jau pēdējo grupu var apvienot ar pirmo. Uzdevumadiskriminācijas indekss bija 0,42 un point biseriālais korelācijas koeficents parādīts6.1. zīmējumā.1,21Korelācijas koeficients0,80,60,40,20-0,20 1 2 3 N-0,4-0,6Punktu skaits par uzdevumu6.1. zīmējums. Kāda uzdevuma point biseriālie korelācijas koeficenti.Tātad šāds uzdevums vērtējams kā labs. Te vēlreiz jāatzīmē, ka kādreiz uzdevumunepieciešams izslēgt no testa arī pēc pamattestēšanas. Šāda situācija var rasties,piemēram, ja pilottestos uzdevums bijis gana labs, bet pamattestestu brošūrāiezagusies kāda maketēšanas kĜūda.Atkal apskatīsim šīs nodaĜas otrajā sadaĜā doto piemēru un zz. tabulu. Point biseriāloskoeficentus aprēėināsim pakāpeniski. Visa testa vidējo atrod ar funkciju AVERGE,8

testa standartnovirzi atrod ar funkciju STDEV. Relatīvos biežumus un atsevišėogrupu vidējos atrod ar funkciju COUNT, SUM, COUNTIF, SUMIF kombinācijām.precīzas formulas parādītas 6.3. tabulā.6.3. tabula. Point biseriālā koeficenta atrašana.43 B C D441. atbildesrelatīvaisbiežums=COUNTIF(C$3:C$42;"=1")/COUNT(C$3:C$42)452.* atbildesrelatīvaisbiežums=COUNTIF(C$3:C$42;"=2")/COUNT(C$3:C$42)0463. atbildesrelatīvaisbiežums=COUNTIF(C$3:C$42;"=3")/COUNT(C$3:C$42)474. atbildesrelatīvaisbiežums=COUNTIF(C$3:C$42;"=4")/COUNT(C$3:C$42)4849 Vidēji pareizi izrēėināts =AVERAGE(D3:D42)50 Standartnovirze testa rez =STDEV(D3:D42)51=SUMIF(C$3:C$42;"=1";D$3:52Vidējais, kuriem 1.atbildeD$42)/COUNTIF(C$3:C$42;"=1")53Vidējais, kuriem 2.atbilde=SUMIF(C$3:C$42;"=2";D$3:D$42)/COUNTIF(C$3:C$42;"=2")54Vidējais, kuriem 3.atbilde=SUMIF(C$3:C$42;"=3";D$3:D$42)/COUNTIF(C$3:C$42;"=3")55Vidējais, kuriem 4.atbilde=SUMIF(C$3:C$42;"=4";D$3:D$42)/COUNTIF(C$3:C$42;"=9

5657585960Korelācijaskoeficienti r it (1)Korelācijaskoeficienti r it (2)Korelācijaskoeficienti r it (3)Korelācijaskoeficienti r it (4)4")=SQRT(C44/(1-C44))*(D52-D$49)/D$50=SQRT(C45/(1-C45))*(D53-D$49)/D$50=SQRT(C46/(1-C46))*(D54-D$49)/D$50=SQRT(C47/(1-C47))*(D55-D$49)/D$50Skaitliskās vērtības parādītas nākošajā tabulā (6.4. tabula)6.4. tabula. Iepriekšējā piemēra skaitlisks risinājums.43 B C D1. atbildesrelatīvais44 biežums 0,225452.* atbildesrelatīvaisbiežums 0,425463. atbildesrelatīvaisbiežums 0,2474. atbildesrelatīvaisbiežums 0,154849 Vidēji pareizi izrēėināts 32,97550 Standartnovirze testa rez 11,396151Vidējais, kuriem 1.52atbilde 30,3333310

5354555657585960Vidējais, kuriem 2.atbilde 37,64706Vidējais, kuriem 3.atbilde 28,5Vidējais, kuriem 4.atbilde 29,66667Korelācijaskoeficienti r it (1) -0,1249Korelācijaskoeficienti r it (2) 0,352462Korelācijaskoeficienti r it (3) -0,196339Korelācijaskoeficienti r it (4) -0,121952Tātad kopumā šis piemērā minētais uzdevums jāuzskata par labu.4.5. UzdevumiDots fails ar iestājeksāmena testa rezultātiem (6.5. tabula). Visi uzdevumi irvairākatbilžu izvēles uzdevumi. Pareizais atbildes variants un atbilžu variantu skaitsuzdevumā dots pie uzdevuma numura (pirmais un otrais skaitlis iekavās). Atrast:1. Kopējos punktus testā katram skolēnam.2. Uzdevumam, kura numurs sakrīt ar datora numuru izrēėināt:a. uzdevuma grūtību,b. diskriminācijas indeksu,c. atbilžu variantu izvēles biežumu (atsevišėi apskatīt neatbildētovariantu),d. point bisriālo korelācijas koeficentu starp katru atbilžu variantu(ieskaitot neatbildēto) un testa kopējiem rezultātiem,e. dot uzdevuma novērtējumu par tā piemērotību.11

6.5. tabula. Testa rezultāti un atbildes uz pirmajiem pieciem uzdevumiemKopējāSkolēna ID 1. uzdevums 2. uzdevums 3. uzdevums 4. uzdevums 5. uzdevums testa atzīmePareizi 1 Pareizi 3 Pareizi 4 Pareizi 4 Pareizi 21 1 3 1 4 2 55,22 5 3 4 3 2 59,693 2 1 4 2 2 49,5874 1 2 4 4 2 65,3025 1 3 4 4 2 63,0576 1 3 4 4 2 68,677 1 3 3 4 2 60,8128 1 3 4 4 2 59,699 1 3 4 4 2 60,81210 5 3 3 4 2 48,46511 1 3 4 4 2 67,54712 1 3 3 4 2 51,83213 4 3 4 2 2 41,7314 4 3 4 4 2 54,07715 5 2 4 3 2 40,60816 5 2 2 3 2 46,2217 4 3 3 4 2 57,44518 1 3 4 4 2 65,30219 1 3 4 4 2 60,81220 4 3 4 3 2 37,2421 5 3 3 4 2 48,46522 4 1 2 3 2 38,36323 , 4 4 3 2 40,60824 1 3 4 4 4 60,81225 5 3 4 3 2 43,97526 1 3 4 4 2 74,28227 1 3 4 1 2 70,91528 1 3 4 4 2 72,03729 1 3 2 4 2 74,28230 1 3 2 1 2 55,231 1 3 4 4 2 69,79232 1 3 4 3 2 56,32233 1 1 4 4 2 58,56734 5 3 4 3 2 40,60812

35 3 1 4 3 2 41,7336 5 3 4 4 2 67,54737 1 3 4 3 2 54,07738 1 3 4 3 2 57,44539 1 3 2 4 2 51,83240 4 3 4 3 2 40,60841 1 3 3 4 2 51,83242 1 3 4 4 2 64,1843 1 3 4 4 3 67,54744 4 3 4 4 2 55,245 , 2 2 3 , 30,50546 5 3 3 2 2 39,48547 1 3 4 4 2 49,58748 1 3 4 3 2 55,249 2 3 1 4 2 52,95550 3 3 4 3 2 41,7351 1 3 4 4 2 69,79252 5 2 2 4 2 51,83253 1 3 4 4 2 69,79254 1 2 4 1 2 52,95555 4 2 4 1 2 47,34356 1 3 4 4 2 61,93557 1 2 4 1 2 58,56758 4 3 4 4 2 50,7159 3 2 4 4 2 49,58760 2 , 1 4 3 45,09861 3 3 2 4 2 49,58762 1 3 3 4 2 66,42563 1 3 4 4 2 67,54764 3 3 4 3 4 50,7165 4 3 4 2 2 37,2466 5 3 4 4 4 45,09867 1 3 4 4 2 45,09868 4 3 3 4 2 42,85369 1 3 2 4 2 55,270 4 3 2 3 2 46,2271 5 3 4 3 2 38,36372 4 3 1 4 2 48,46573 4 3 4 2 1 34,99513

74 4 3 4 3 2 39,48575 1 3 4 3 2 58,56776 4 3 4 3 2 41,7377 4 3 2 1 2 38,36378 5 1 4 4 2 32,7579 4 2 1 2 2 39,48580 3 3 1 3 2 49,58781 1 3 4 4 2 49,58782 5 3 1 3 2 40,60883 , 3 1 4 , 32,7584 5 3 1 4 2 38,36385 4 3 4 3 2 43,97586 1 3 4 4 2 57,44587 1 3 4 2 2 56,32288 1 4 4 4 4 43,97589 4 3 2 4 2 43,97590 4 2 1 3 1 31,62891 5 3 1 4 2 45,09892 5 3 2 3 3 37,2493 1 3 4 3 2 66,42594 1 3 4 4 2 66,42595 1 3 , 4 2 59,6996 1 3 4 4 2 56,32297 3 3 4 3 2 41,7398 3 3 3 3 3 41,7399 5 3 4 3 2 48,465100 2 3 4 3 4 49,58714