Автореферат на дисертацията - Технически Университет - София

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеОБЩА ХАРАКТЕРИСТИКА НА ДИСЕРТАЦИОННИЯ ТРУДАктуалност на проблемаПри разработването на мултимедийни обучителни материали (за онлайн или офлайнразпространение) авторите използват среда за разработка, избрана по определени критерии –такава с лесен интерфейс или тази, която е закупена и/или внедрена от образователнатаинституция, в която преподават. Съществува голямо разнообразие на мултимедийни среди,които се използват в обучението. Това разнообразие обаче налага необходимостта да сесъздадат условия за лесно преминаване от една среда в друга, за улеснена преносимост насъздадените продукти за обучение от една среда в друга.Възниква необходимостта да се предложи технологично решение за провеждане,изследване, анализиране и управление на обучението. Решение, което преподавателите отсредното и висше образование да прилагат в учебния процес. което позволява и допринася зауправление на обучението и за повишаване на ефективността му.Цел и задачиЦел:Да се изследват съществуващите подходи и програмни средства, да се създаде метод ида се разработи решение, което интегрира възможностите на мултимедийни среди спедагогически и структурни модели, описващи функционалното развитие на учебния процес иавтоматизация на оценяването и управлението на процесите на обучение. То е предназначено даоблекчи създаването и въвеждането на дидактически материали и улеснява преминаването ипренасянето от една обучителна среда в друга. Предоставянето на различни електроннидидактически материали на учениците и студентите, в зависимост от формите и етапите наобучение, ще създава възможност за по-добра организация на учебния процес. Натрупанитерезултати в бази данни да позволяват автоматизирана обработка, визуализация и по-коректнотоим тълкуване. Всичко това трябва да улесни учителите и преподавателите в управлението наобучението.Задача 1. Да се изследват и подложат на сравнителен анализ мултимедийни среди. Да сеизберат тези, които са най-подходящи за създаване и приложение на електронни дидактическиматериали в онлайн или офлайн среди.Задача 2: Да се изследват известните педагогически подходи и модели на обучение. Дасе оценят ползите и ограниченията им при приложението им в електронното обучение.Задача 3: Да се създаде модел на развитието на учебния процес в средното и висшетообразование. Да се изследва използването на този модел за подпомагане вземането на решенияза управление на учебния процес въз основа на автоматизирана обработка на данни.Задача 4: Да се изследват възможностите за въвеждане на дидактически материали,които могат да се използват в избраните среди. При необходимост да се разработят средства иосигурят условия за създаването им по начин, удобен и достъпен за по-широк кръг обучители,независимо от техните компетенции в областта на ИТ.Задача 5: Да се изследват и подберат научните методи за оценка качеството насъздадените дидактически материали, тяхната надеждност, трудност и дискриминативна силана тестовите задачи .Задача 6: Да се изследва доколко статистическите данни, получени като резултат отизползването на дидактически материали в мултимедийните среди подлежат на единнаобработка и визуализация. При необходимост да се създаде средство, което да тълкувамаг. инж. Йоана Михайлова Минкова 2

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванефазите на ежеседмичен контрол. В някои случаи, в зависимост от специфичните особености наизучавания предмет и използваната методика, преди „Предоставянето на нови знания“ или в„Самоподготовка 1“ може да бъде заложен „Входящ тест“.След това добавяме и учебните форми и средства, използвани на всеки от етапите научебния процес (фиг.18), при което се получава модел, приложим не само във висшето, но и всредното образование.фигура 18 Модел на учебния процес с включени учебни форми и средстваУчебният процес започва с предоставяне на нови знания - лeкция или нов урок. Те могатда бъдат предшествани от входящ тест. Специфичното разпределяне на въпросите в под теми иприблизителното разбиране на предварителната подготовка на учащите се може да помогне напреподавателя да се ориентира за готовността на обучаваните за възприемане на новия учебенматериал.Сaмocтoятeлнaта пoдгoтoвкa нa cтудeнтитe/учениците пpeди (CП1) и cлeд (CП2)практическите занятия следва да допринесе за осмислянето и задълбочаването на придобититезнания. Методически погледнато, като хронология, самостоятелната работа трябва да бъдеразположена след лекцията и преди лабораторното (или семинарното) упражнение.Самоподготовката пpeди практическите занятия включва както препрочитане,запаметяване на новия материал, така и тест за самопроверка, който да даде представа, неоценка, на самия обучаем за нивото на придобитите знания, за възможни пропуски, коитотрябва да бъдат наваксани. За придобиването на практически умения може да се използватразлични форми: ceминapни зaнятия/ упpaжнeния, експериментална работа в специализиранилаборатории, разработка на курсов проект/задача, като целта естествено е да се приложат вдействие, на практика придобитите познания.По време на упражненията или семинарните занятия преподавателите дискутираттеоретичните постулати от предходната лекция, както и резултатите и евентуалните проблемипри разработените от студента домашни задачи.Практическите умения могат да се придобият и задълбочат и чрез самостоятелнаразработка на курсов проект, чиято сложност и обем да съответства на задачите, които биватмаг. инж. Йоана Михайлова Минкова 6

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванезадавани по време на контролно. Така подготовката на обучаемият е по-спокойна и той можесам да определи готовността си за текущия контрол.След провеждането на практическите занятия, под една или друга форма, обучаемиятотново трябва да положи усилия и да направи самоподготовка, която може да бъде съпътстванас разработка на домашна работа.Описаните до момента фази на учебния процес, покриват една учебна седмица, oтpaзявaйкиcмeнитe нa фopмитe нa учeбнaтa дeйнocт пpи изучaвaнe нa мaтepиaлa в дaдeна тема нa учeбнияпpeдмeт. С цел осъществяване на периодична проверка на придобитите знания и умения е добрепреподавателят да провежда ежеседмичен контрол било то чрез проверка на домашни работи,или чрез проверка на разработена част от проекта или чрез кратък тест.Но от гледна точка на един семестър / срок, тези повтарящи се ежеседмични събития сепрекъсват два или три пъти в семестъра за т.нар. текущ контрол, oтpaзявaйки зaвъpшвaнeтo нaизучaвaнeтo нa дaдeн paздeл oт учeбния мaтepиaл. Получената текуща оценка оказвасъществено влияние върху крайната оценка за курса.Текущия контрол би било редно да се провежда по няколко начина: в теоретичната сичаст с помощта на специално разработени тестове или чрез писмено развиване на теоретичнивъпроси. Практическите умения следва да се проверят с подходящо зададени задачи,съответстващи на спецификата на материала и обобщаващи знанията и уменията придобити повреме на курса.Естествено крайната фаза в учебният процес представлява финалният изпит. Начинитеза провеждането му са идентични с тези за провеждане на текущуят контрол, като разликатаестествено е в обхвата и обема на материала, върху който се поставя оценка на обучаемите. Акоедна от формите на финалният изпит е тест, той трябва да даде възможност за по-вероятно исравнително по-точно оценяване на обема, смислеността, обвързването, решението и другихарактеристики на усвояването на знания по конкретната тема.Проследявайки фазите на учебния процес можем да видим къде могат да намерятприложение информационните технологии (фиг. 19).При първият етап – предоставяне на нови знания, преподавателят може да изнесе устнолекция на аудиторията. Но освен това, на база на препоръчаните от Министерството иливодещия преподавателски екип учебници, подходящи научни книги и енциклопедии, може дабъде оформен като реферат (част от електронна книга), съдържащ вътрешни и външни линковеи онагледен с подходяща презентация, оформена с Power Point, Flash или други средства.Използването на тестове в този етап е безсмислено, поради това, че обучавания сенамира в процес на запознаване с нов материал, който не е изучен, упражнен и запомнен.При самоподготовката пpeди практическите занятия (СП1) би било полезно застудентите ако могат да прочетат в електронен вариант допълнителен текстов материал(реферат), с цел улесненото и задълбочено възприемане на новите знания.маг. инж. Йоана Михайлова Минкова 7

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванефигура 19 Модел на учебния процес, обезпечен с електрони образователни ресурсиНа същият този етап обучаемият може сам да провери степента на усвояване наматериала чрез подготвен от преподавателя „тест за самопроверка”. Ако тестът е в електроннаформа и предвижда подходяща „обратна връзка”, която да обясни допуснатата грешка, той щеподпомогне обучаемия да усвои в максимална степен новите знания, да придобие увереност, чее разбрал и осмислил учебния материал и да бъде достатъчно подготвен, за да ги приложи напрактика. Такъв тип тест може да се използва и като „входящ тест”, предшестващ упражнениеили лабораторно занятие.Етапът на придобиване на практически умения би могъл да се реализира по множествоначини в зависимост от спецификата на изучаваната материя. В болшинството случаи на тозиетап информационните технологии се използват по-скоро като инструмент при провежданетона лабораторни/ семинарни занятия.След провеждането на практическите занятия, под една или друга форма, обучаемиятотново трябва да положи усилия и да направи самоподготовка, която може да бъде съпътстванас разработка на домашна работа и/или да му бъде предоставен мултимедийно приложение засамообучение, тюториал 1 или симулационни програми.Съществен елемент в процеса на обучение е контрола и оценката на придобитите отобучаемите знания.Оценката на знанията се извършва периодично във времето - срок или семестър, катозадължително има и компонент с по-голяма тежест – семестриален изпит, класна работа,изпитване за оформяне на срочна/годишна оценка. Една от най-активните форми за контрол напридобитите знания е тестът. При тестовете е налице обективно оценяване на резултатите,което от своя страна повишава интереса на студентите/учениците към процеса на обучение и гистимулира.1 Реализирана чрез компютърна програма система от инструкции, която съдържа информация, упражнения, тестове идр. и е предназначена за самообучение [Webster's New World College Dictionary Copyright © 2010 by Wiley Publishing, Inc.,Cleveland, Ohio. Used by arrangement with John Wiley & Sons, Inc. ]маг. инж. Йоана Михайлова Минкова 8

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеЕфективността на оценяването чрез тест зависи от способността на преподавателя дасъставя надеждни тестове в сферата на конкретния предмет.Тестовото изпитване е най-удачно да бъде компютъризирано, макар този процес да изисквапо-сложна система за автоматизиран контрол, повече време за разработването на специфичниконтролни задачи и техните варианти. Но пък проверката и анализа на резултатите са многопо-облекчени.В компютърните системи за конструиране и провеждане на тестове има възможностипроверка на отговорите на обучаемия, за предаване резултата от теста към системата зауправление на обучението, рестартиране на теста. Ако тестовете са с обучителна цел,съществуват средства за реализиране на обратна връзка с обучаемия– например при грешенотговор да се изведе съобщението “Не е вярно” и да се обясни кой е верният отговор и защо.При стартиране на теста е желателно да се идентифицира потребителят на теста, така че присъхранение на резултатите от теста, срещу тях да бъде съпоставено и името на обучаемия.Други полезни характеристики на компютърно-базираните тестове е изпращането нарезултатите от теста по e-mail до преподавателя и/или студента.Компютъризираните тестове могат да се създават основно по два начина: ползвайкиспециализирана авторска среда (за offline употреба) или чрез използване на платформа заелектронно обучение (за online употреба). И в двата случая е добре да се предвиди възможностсъздадените тестове да могат да се използват многократно.Тъй като преподавателите не изпитват затруднения да напишат тестовите въпроси съссъответните възможни отговори в текстообработваща програма, напр. MS Word, би билополезно да се създаде приложение (интегратор), което да осигури въвеждането на тестовете,подготвени в един документ, както в авторска среда, така и в платформа за електроннообучение, т.е. да се интегрира входа на тестовете. От друга страна, след провеждането на тест, енеобходимо освен да се види крайната оценка на обучаемите, получените статистически даннида се обработят и анализират. Целта естествено е от една страна да се подобри качеството насамия тест, изследвайки надеждност, трудност на въпросите и др. критерии, а от друга – да сеподобри качеството на обучението като цяло.Полезно за преподавателя би било наличието на едно приложение, което освен да обработии анализира резултатите от проведен тест, да визуализира получените статистически данни соглед на по-ясното им възприемане, да дава насоки и съвети на преподавателя как и каквотрябва да коригира по отношение на въпросите и дистракторите.Въпросното приложение трябва да обработва данни от теста, независимо от начина,използван за създаването му – авторска среда или платформа за електронно обучение, т.е. да сеинтегрира изхода от проведен тест.Ето защо моделът е разширен, като са добавени от една страна преподавателят, катоактивна роля в управление на процеса на обучение, и от друга страна е добавен модул –„интегратор”. Интеграторът се намира на входа на учебния процес, осигурявайки напреподавателя лесно създаване и вграждане в учебния процес на средства за оценяване. Но внего постъпват данни също и от изхода на процеса – резултатите от проведеното оценяване зада улесни преподавателя при вземането на решения за начина на управление и повишаванекачеството на обучението.маг. инж. Йоана Михайлова Минкова 9

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванефигура 31 Модел на учебния процес, обезпечен с електрони образователни ресурси, създадени от преподавателя с помощта на интегриращо входа и изходаприложениеЙоана Минкова 10

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване3. Методи за оценка характеристиките на дидактически материали заоценяване3.1. Определяне трудността на тестови задачиОсновната характеристика, по която се избират задачите в теста е степента на тяхнататрудност. Трудността на задачите е параметър, който може да се определи чрез оценките занивото на усвояване на знанията на студентите. Такъв анализ може да покаже предимствата инедостатъците на измерителните качества на теста, напр. лошо конструирани въпроси илинеподходящо прогнозирани и съставени възможности за отговори. Обикновено такива тестовивъпроси не са добре съгласувани с останалите и при анализа се характеризират с големиамплитуди, т.е. очертават се като много лесни или много трудни. Коефициентът на трудност натестовата задача с избираем отговор може да се изчисли по следната формула [13]:AiPi(2)Ni, където:Pi – трудност на i- тия въпрос,Ai – брой верни отговори на i- тия въпрос,Ni – общ брой студенти отговорили на i- тия въпрос.Броят на възможните отговори на задачата оказва влияние при тълкуване на оценката натрудността й. Според [65] се приема се, че при задача с множествен избор, съдържаща 5алтернативи, средната трудност трябва да бъде около 45% (табл. 21):Табл. 21: Тълкуване на коефициента на трудност за задача с 5 алтернативиТип Много лесна Лесна Оптимална Трудна Много труднаТрудност(%) 84 - 100 69 - 84 37 - 68 21 - 36 0 - 203.2. Определяне индекс на дискриминацияИндексът на дискриминация е изключително полезен инструмент за измерванекачеството на тестови въпроси. Той представлява степента, в която въпросът разграничавастудентите с високи постижения от тези с ниски постижения. Очаква се студените, които саполучили висок резултат на целия тест да се справят с отделния въпрос по-добре от тези, чииторезултат от теста е по-нисък. При анализ на индекса на дискриминация на тестов въпрос сеопределят две групи от студенти – „силна група” и „слаба група”. За целта най-напред енеобходимо да се подредят студентите в зависимост от получените резултати на теста. Първите25% или 27% от студентите с най-висок резултат формират „силната група”, а последните 25%или 27% от студентите с най-нисък резултат формират „слабата група”.Индексът на дискриминация е разликата от трудността на въпроса за студентите с високрезултат на теста и трудността на въпроса за студентите с нисък резултат [52]:(3) D = P U -P L , къдетоP U - трудност на въпроса за студентите от „силната” група (U);P L - трудност на въпроса за студентите от „слабата” група (L).Стойностите на индекса на дискриминация варират между 0 и 100. Колкото по-висок еиндексът на дискриминация, толкова повече въпросът прави по-добро отделяне на студентите,получаващи висок общ резултат от тези, получаващи нисък общ резултат. При равни другиусловия колкото са по-големи стойностите на дискриминационния индекс на въпросите,толкова по-надежден е теста.Йоана Минкова 11

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеКоефициент на дискриминация, близък до 0 показва, че тестовия въпрос е неподходящ заразграничаването на студентите, които се справят добре с теста, от тези които не се справят снего. Колкото дискриминацията е по-близо до теоретичната граница 100, толкова по-добревъпросът разграничава студентите, знаещи добре материала от тези, които не го знаят [65].3.3. Оценка на надеждността на тестНадеждността е психометрично свойство на теста чрез което се определя степента настабилност на оценката, в зависимост от случайната грешка при измерването. Чрез изследванена резултатите на студентите може да се направи анализ на надеждността и заключения далиизползваният тест измерва в достатъчна степен студентските знания, т.е., че тестът наистинамери постиженията, които е предвидено да мери. Надеждността е мярка за точността наполучените оценки [65].Обикновено надеждността се определя чрез изчисление на коефициент на надеждност(R) или като случайна грешка, получена от него. Като цяло коефициента на надеждност отизмерването не трябва да бъде по-малък от 0.60. Високата надеждност (с коефициент близък до1.0) предполага, че ако същия тест се повтори със същите студенти, резултатите ще са почтиеднакви. Колкото е по-висок коефициента на надеждност толкова е по-добре, т.к. това означава,че имаме малка случайна грешка в резултатите. Тест с надеждност 1.0 има случайна грешканула и следователно има отлична (пълна) надеждност [3].Определянето на коефициента на надеждност на теста може да се извърши по 4различни метода, всеки от който се прилага в зависимост от специфичните особености наизползвания тестСлед направен анализ на методите за оценка на надеждност избираме като найподходящза нашите изследвания методът на KR #21, т.к всички студенти са поставени вравни условия при тяхното тестово изпитване, защото са преминали еднакъв курс наподготовка и следователно би трябвало да няма големи разлики в получените от тях оценкина теста. Ако се получават големи разлики в оценките им е необходимо да се анализиратфакторите, който причиняват дисперсията на тестовите оценки.Формулата на Кудер – Ричардсън KR #21 – използва се когато се предполага, чевсички вътрешни корелации и трудностите на отделните задачи са приблизително равни:R21kkX11 k(7)R – надеждност на теста;к – брой въпроси в теста;( kX )2, където:X – средната стойност на действителните резултати (точки);2- дисперсия (средната стойност на квадратите на разликите между измерванията и X ).При изследване на надеждността на теста се отчита и фактора дисперсия на полученитеоценки, т.е. разликата в получените точки от групата студенти тествани по едно и също време ипри еднакви условия., т.е. надеждността е и мярка, изразяваща степента в която резултатите оттеста са повторими. Дисперсия се изчислява по следната формула [65]:(8)2 1 NNi 1X iXN – брой на студентите;2, където:Йоана Минкова 12

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеx 1, x 2, x 3, … , x n – стойност на съответното измерване;X – средната стойност от измерванията.Извод 1: Разгледаните модели могат да се използват като "водещи принципи", т.е. катовид схема, за прилагане на определен педагогически подход. Но в повечето случаи моделите саабстракции и обучителите не разбират как ефективно да ги приложат в практиката си. Ето защое необходимо да се създаде един модел, който да бъде разбираем от обучителите, да бъде лесноприложим в тяхната работа, модел, който да позволява и допринася за управление наобучението и който да цели повишаване ефективността му, при това прилагайки върховитепостижения на информационните и комуникационни технологии, а именно мултимедиятаИзвод 2: Разработен е модел, който описва фазите и етапите на учебния процес катоедин от съществените елементи е ежеседмичният контрол. Целта е осъществяване напериодична проверка на придобитите знания и умения, която да установи евентуални пропускии преподавателят да прецени какви подходи да приложи за по-доброто усвояване на учебнияматериал. Друг основен елемент в модела е вграждането на мултимедийните технологии –посочено е какви електронни образователни ресурси е подходящо да се използват на всеки етап.В модела е добавен и модул „интегратор”.Извод 3: Подбрани са методи за оценка характеристиките на дидактически материали заоценяване, които ще се използват за експерименталните изследвания.III Глава Създаване на програмен продукт, унифициращ въвеждането надидактически материали в мултимедийни среди и извеждане на резултатите1. Проектиране на програмния продуктПри проектирането на програмния продукт най-напред бяха дефинирани целите изадачите- да се осигури възможност за преносимост на тестове между мултимедийни среди(ToolBook и moodle), предлагайки следните функции:- Конвертира тест, създаден в текстообработващ редактор в база данни, от която създаватест в ToolBook (вход в ToolBook). Възможно е и директно въвеждане на тестовитезадачи в база данни;- Конвертира тест, създаден в текстообработващ редактор или база данни във форматMoodle XML. Полученият файл лесно се импортира в средата (вход в moodle).- Обработва информацията от база данни, попълнена по време на проведен тест сToolBook, като дава информация за всеки обучаем, постижението му и разпределениетона оценките от теста (Обработка на резултати от ToolBook ).- Използва натрупаните статистически данни от проведен тест в среда moodle, катоосигурява възможност на преподавателите за анализ и графична визуализация на важнипараметри на теста (Обработка на резултати от moodle).Продуктът следва алгоритъма, представен на фиг. 33.Йоана Минкова 13

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванефигура 33 Алгоритъм на програмния продуктПроектирана е структурата на базата данни, в която ще се въвежда информациятаза тестовете и получените резултати:фигура 34 Структура на базата данниЙоана Минкова 14

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеБазата данни съдържа следните таблици:- „Question”: съдържа информация за типа, името и текста на въпроса;- “Students”: съдържа информация за студентите, преминали теста;- “Test_ItemChoice”: съдържа отговорите и тегловните коефициенти на въпроси отизборен тип;- “Test_ItemMatch”: съдържа отговорите и тегловните коефициенти на въпроси засъпоставяне;- “Test_ItemArrange”: съдържа отговорите и тегловните коефициенти на въпроси заподреждане;- “Test_ItemFill”: съдържа отговорите и тегловните коефициенти на въпроси за попълване;- “Scores”: съдържа отговорите, дадени от студентите и общата оценка.2. Реализация на програмния продуктЗа реализацията на приложението бе избран езикът за програмиране Visual Basic тъйкато позволява изграждане на графичен потребителски интерфейс, връзка с бази даннипосредством технологията ADO, работа с XML документи.При реализацията на приложението най-напред е създадена модална форма, даващаинформация за предлаганите функции и предоставя на потребителя възможност за избор нажеланото действие (фиг. 35):фигура 35 Начален екран на продукта2.1. Интегриран подход за организация въвеждането на въпроси в компютъризиран тест2.1.1. Унифицирано форматиране на въпросите за компютърен тестЗа създаване на унифициран вход на въпросите с техните отговори, предлагаме насъздателите на тестове да използват някой от широко разпространените редактори на текст,какъвто например е Word или да въвеждат директно в база данни тестовите въпроси, технитеотговори и тегловни коефициенти.Създаденото приложение е експериментирано за два от най-често използваните типавъпроси – изборен метод и съпоставяне (намиране на съвпадение).При създаването на тест най-напред е необходимо да се структурира учебния материал.Според тази структура се определя съдържанието на теста по раздели, теми, подтеми. Създаватсе възлови въпроси, които обхващат пълното съдържание на дадена подтема. Така че, акообучаемият отговори правилно на всички възлови въпроси върху конкретна подтема, товагарантира, че той е усвоил материала по нея.Йоана Минкова 15

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеЗа да се организира генералната съвкупност от въпроси в база данни, трябва на етапа напроектиране на теста да се даде име на всеки въпрос с цел уникалното му идентифициране. Зада могат да се изследват зависимостите в натрупаната статистика, е необходимо в името навъпроса да се съдържа името на раздела, темата и подтемата.фигура 36 Формат на тестовите задачиПовечето среди за осигуряване на автоматизиран тестов контрол дават възможност завръзка с бази данни. Файл, създаден с MS Access е достъпен за всички среди. Някои от тях,например, MS ClassServer и Macromedia Authorware създават SQL заявки към базата данни.Други разполагат с програмни средства за връзка с база данни.За да се създаде база данни Access, съдържаща генералната съвкупност от тестовивъпроси и съответно отговори, приложението на Visual Basic предлага два избора напотребителя: възможността за използване на предварително подготвен тест в Word или ръчновъвеждане в база данни.фигура 37 Избор на метод за въвеждане на тестИ в двата случая се създава база данни, съдържаща информация за тестовите въпроси(фиг. 41).фигура 41 Създадената база данниЙоана Минкова 16

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване2.1.2. Унифицирано въвеждане на въпросите в компютърен тест в авторскасреда ToolBookЕдин от начините за онагледяване на приложения подход е чрез използване наавторската сред ToolBook. От гледна точка на използването на бази данни, ToolBook разпола гас програмни инструкции за четене и запис на данни в таблици на Paradox или dBase. Ето защо енеобходимо текстовия файл да се обработи така, че данните от него да съществуват като файлна Paradox. Затова следващото действие на Visual Basic приложението е да се съхрани базатаданни като файл на Paradox.По-нататък управлението се предава към създадено с ToolBook приложение, коетосъздава компютъризиран тест, чиито основни страница изглежда по начина, показан на фиг. 45:фигура 45 Тест в ToolBook2.1.3. Интегриране на предварително подготвени тестове в среда Moodle2.1.3.2. Преобразуване на тест във формат Moodle xmlРазработеното приложение, позволяващо автоматично въвеждане на тестови въпроси итехните отговори в средата за електронно обучение ToolBook е надградено, така че дапозволява и автоматичното въвеждане в среда Moodle на тестове, създадени втекстообработващ редактор. За целта се използва същият формат (фиг. 36) за въвеждане наусловието и отговорите на тестовите задачи.След внимателно проучване на възможностите и форматите, които предлага Moodle заимпортиране на тестове, бе преценено, че най-удачен вариант за преобразуване на базата даннив достъпен за средата формат е да се използва Moodle XML форматът.За да се осъществи преобразуването на MS Access базата данни в XML Moodle формате необходимо най-напред да се осъществи връзка с базата данни чрез използване натехнологията Microsoft’s ActiveX Data Objects (ADO):Dim mobjADOConn As ADODB.ConnectionDim mobjADORst As ADODB.RecordsetDim mstrSQL As String.......................................Private Sub ConvertXML_Click()Set mobjADOConn = New ADODB.ConnectionDim strQuery As StringmobjADOConn.ConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" &"d:\test.mdb" & ";User ID=Admin;Password="Йоана Минкова 17

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеmobjADOConn.OpenНеобходимо е също така да се добави библиотеката “Microsoft XML v. 3” за да сеизползват методите и свойствата на класа IXMLDOMNode за достъп до елементите на XMLфайла:Dim objDoc As DOMDocumentDim objNode As IXMLDOMNodeDim i As IntegerОсновните елементи на XML файла се създават от следните оператори:CreateProcessingInstruction objDoc, "xml", "version='1.0'"Set objNode = CreateNode(objDoc, Nothing, "quiz")По нататък процедурата продължава с четене на данните от съответните полета натаблицата Question (фиг. 34), докато не се стигне края на файла.mstrSQL = "Select * from Question"Set mobjADORst = New ADODB.RecordsetmobjADORst.CursorLocation = adUseClientmobjADORst.Open mstrSQL, mobjADOConn, adOpenStatic, , adCmdTextSet objDoc = New DOMDocumentSet objNode1 = CreateNode(objDoc, Nothing, "quiz")While Not mobjADORst.EOFstrQuery = mobjADORst.Fields("qID")ID_n = strQuerystrQuery = mobjADORst.Fields("qType")…..WendПрави се проверка за типа на текущия въпрос, като в зависимост от това дали е „изборенметод” или „съпоставяне”, се изпълнява различен код (фиг. 49, фиг. 50), който създава пореденвъзел в структурата на новия XML файл, задавайки съдържание или от таблицата„Test_ItemChoice” или “Test_ItemMatch”.фигура 49 Създаване на въпрос от изборен методфигура 50 Създаване на въпрос засъпоставянеВ резултат на описаните действия се генерира файл в Moodle XML формат, представящвсички въпроси, възможни отговори със съответните им тегловни коефициенти, съдържащи сеЙоана Минкова 18

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванев базата данни на MS Access. След това преобразуване вече е съвсем лесно всички тестовивъпроси да бъдат импортирани в банка с въпроси в среда Moodle.Съдържанието на файла се запазва в банката и импортираните въпроси вече са наразположение на преподавателя, който може да избира кои от тях да бъдат част от даден тест.2.2. Интегриран подход за организация на извеждането на резултатите откомпютъризиран тест2.2.1. Извеждане на резултатите от компютъризиран тест, създаден вToolBook2.1.2. Проектиране и структура на базата данни2.2.1.2. Заявки в базата данниПървата стъпка за осъществяване на интегрирано извеждане на резултатите от тестовете еда се проектира нова база данни. Базата данни е създадена в Microsoft Access и се състои отседем таблици (фиг. 34), които са празни, докато не се попълнят автоматично от ToolBookприложението.След проектирането на таблиците е необходимо също така да се създадат някои заявки,които следва да бъдат определени предварително, докато базата данни все още е празна. Тезизаявки ще бъдат полезни за предоставяне на статистически данни за проведения тест. Една оттези заявки - "Общ резултат" (фиг. 34) е проектирана въз основа на таблиците " Students" и"Scores". Тя ще даде информация за постижението на всеки обучаем - факултетен номер, име,брой правилни и грешни отговори, оценка.Заявката - "Correct responses for a given" се основава на таблици "Question" и "Scores". Тяизисква въвеждане от потребителя на ID номера на въпроса и предоставя информация за товаколко и кои студенти са дали правилен отговор на този въпрос. Друга заявка - "Marksdistribution" използва връзката между таблиците "Marks" и "Scores" и показва колко студентиимат отлична оценка, колко много добра и т.н. Тази заявка се използва за придобиване надопълнителна - визуална информация за разпределението на получените оценки. Въз основа натази заявка е проектирана диаграма, която да позволява на преподавателя да види дали криватапредставя нормално Гаусово разпределение на или не.2.1.3. Извеждане на резултатите от тестаКомпютърният тест е приложение, разработено с мултимедийната авторска среда ToolBookInstructor и изграден въз основа на базата данни в Access, която съдържа общата банка стестови въпроси и съответните отговори. Тази база данни се генерира автоматично, на базата наMicrosoft Word документ, създаден от преподавателя.За осъществяване на унифициран изход на резултатите от теста най-напред е необходимо дасе направи връзка с базата данни. Приложението използва Microsoft ActiveX Data Objects(ADO), за да актуализира и прави заявки към таблиците в Microsoft Access.След като се установи връзка с ADO, вече е възможно да изпълняват команди към ADO заизвличане и съхранение на данни.При стартиране на теста, първият екран, който потребителят вижда в ToolBook изисквавъвеждане на факултетен номер на студента, име, презиме и фамилия. Тези данни се задаваткато стойности на съответните полета в таблицата "Students".Йоана Минкова 19

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеСлед попълването на личните данни, потребителят започва решаването на теста. Придвижвасе от страница на страница в ToolBook и отговаря на различни въпроси. По време на тозипроцес, скрипта в приложението следи действията на студента. В момента, когато потребителятизбере някакъв отговор, се изпълнява скрипт, който записва данните в съответните полета втаблицата "Scores" - ID на въпроса, ID на отговора и тегловният му коефициент.Последния екран на приложението предоставя информация за процента на правилнитеотговори и получената оценка. Тази информация също се добавя в базата данни.След затваряне на теста, цялата необходима информация е записана в базата данни ивръзката между ToolBook и базата данни се затваря.2.1.4. Представяне и анализ на резултатите от тестаВъпреки, че всички резултати са събрани в базата данни, за преподавател, чиято област не еИТ, ще бъде трудно ръчно да ги анализира. Ето защо създаваме една проста форма - "Analysis",която дава на преподавателите бърз и лесен начин да получат статистическа информация затеста:статистическа информация за даден студент: учителят трябва да избере от падащ списъкимето на студент, който е направил теста. В резултат ще види запис, съдържащ следнатаинформация: факултетен номер и име на обучаемия, въпроси, дадени отговори итегловните им коефициенти, броя правилни и грешни отговори, крайна оценка;статистическа информация за даден тестови въпрос: учителят трябва да избере от падащсписък име на тестов въпрос. В резултат на това ще получи информация за това колкостуденти са отговорили на въпроса, колко от отговори са правилни / грешни, какво еразпределението на отделните дистрактори;статистическа информация за всички студенти: тук информация може да бъдепредставена по два начина – текстова и графична.2.2.2. Извеждане и обработка на резултатите от тест, създаден в moodle2.2.2.1. ВъведениеВ платформата за електронно обучение Moodle могат да се създават тестове, включващиразнообразни типове въпроси. След решаването на тестовете има възможност за получаване настатистически данни от резултатите. Но тези статистически данни са представени в табличнаили текстова форма, което налага допълнителната им обработка. За мнозинствотопреподаватели това представлява допълнително затруднение, още повече, че липсват обясненияза съдържанието и смисъла и статистическите данни. Необходимо е улесняване и подпомаганена преподавателите да вземат решение кои от тестовите въпроси е необходимо да се променят,за стане по-качествен и надежден теста.2.2.2.2. Приложение за визуализация на статистически данни отпроведени в moodle тестовеДвата вида статистика получена в moodle е възможно да бъде експортирана в три формата –текстов, електронна таблица в excel или електронна таблица в OpenOffice (OSD формат).Експортирането в електронна таблица дава сериозни възможности за обработка ивизуализиране на резултатите от теста. Създаденото приложение на Visual Basic ползварезултатите и от двата вида статистика. Ето защо след стартиране на приложението иЙоана Минкова 20

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяваненеобходимо най-напред да се посочат файловете, в които са експортирани двете статистики –обобщена и детайлна (фиг. 57):фигура 57 Начални екрани на приложениетоСлед избора на двата файла, потребителят на приложението има възможност за изборкои данни да бъдат анализирани и представени:i. Индекс на дискриминация;ii. Трудност на въпросите;iii. Постижения на обучаемите;iv. Разпределение на оценките.За целта е проектирана нова форма във Visual Basic (фиг. 58), съдържаща:1. Списъчна кутия за предоставяне избор на потребителя;2.Текстово поле, даващо информация за смисъла на анализираната характеристика;3. Текстово поле, предоставящо тълкуване и интерпретиране на резултатите от теста;4. Поле за изображение, в което да се визуализират получените резултати от анализа наизбраната характеристика.фигура 58 Форма за обработка на резултати от тестове в moodleВ зависимост от направения избор от потребителя се извиква съответната процедура(“Discr_Index()”, ” Distribution()”, ”Marks”, „Difficulty()”).Извод 1: В някои среди е известна преносимост на данни между отделните приложения,напр. създадена таблица в Word може да бъде пренесена в Excel и/или Access и обратно.Установената липса на преносимост на тестове между избраните среди доказва необходимосттаЙоана Минкова 21

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеи налага създаването на специален програмен продукт. Продуктът е реализиран с програмниятезик Visual Basic, избран като най-подходящ за осигуряване на функционалните възможности заобмен на данни между средите. Продуктът създава банка с въпроси в среда MS Access,използвайки тест, предварително подготвен в текстообработващ редактор. Базата данни сеползва за генериране на тест в среда ToolBook или moodle. Унифицира се въвеждането надидактически материали, автоматизира се процеса и се минимизира възможността за допусканена грешки, съществуваща при ръчно въвеждане на данните.Извод 2: Известни са много среди, които съхраняват и извеждат резултатите си втаблична форма, което в повечето случаи затруднява потребителите да разберат смисъла им.Решението на този проблем се търси в графичната визуализация. ToolBook и moodle съхранявати представят статистиката в таблична форма. Това обосновава необходимостта от търсене награфично представяне и интерпретиране на резултатите.Генерираният тест в ToolBook е програмиран с вграденият в средата език запрограмиране OpenScript, така че автоматично да попълва база данни с резултатите от теста.Продуктът, разработен с Visual Basic анализира и визуализира получените резултати.Статистическите данни от проведен тест в moodle се съхраняват в два файла на Excel.Единият съдържа информация за общите резултати от теста, а другият статистика за всякатестова задача. Създаденият продукт използва данните от тези два файла като анализира ивизуализира следните параметри:- Трудност на въпросите (процентът на решилите правилно задачата спрямообщия брой тестирани лица);- Индекс на дискриминация (разликата от трудността на въпроса застудентите с висок резултат на теста и трудността на въпроса за студентитес нисък резултат )- Постижения на обучаемите – броят на верните отговори на всеки преминалтеста;- Разпределение на оценките, показващо доколко то съвпада с Гаусовоторазпределение, определено от Европейската Система за Трансфер наКредити (ECTS).- Точността на измерване на теста - неговата надеждност.Това улеснява и подпомага преподавателите да вземат решение кои от тестовите въпросие необходимо да се променят, за стане тестът по-качествен и надежден, как да редактиратдидактическите материали и как да предлагат информация за вземане на управленски решенияза процеса на обучение.Йоана Минкова 22

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеIV Глава Експериментално изследване на работоспособността наразработеното технологично решение1. Експериментиране на разработения модел при обучение на учениции студентиПредложеният модел е реализиран и приложен при обучението на студенти в първикурс, програма „Компютърни медийни технологии” в НБУ в курса „Структури впрограмирането и ИТ”, както и при обучението на ученици в 9-ти клас на Частна гимназия помултимедия, компютърен графичен дизайн и анимация по предмета Информатика.Всяка лекция/урок се онагледява със слайдове, описващи и обосноваващи основнитетеоретични постановки и онагледяващи практическите приложения с използване на действащипримерни програми. След урока преподавателят качва в платформата за електронно обучениеmoodle файл в PDF формат, съдържащ теоретичен материал по темата. Този материал съдържаинформацията от лекцията, но в по-разширен и подробен вид от презентацията, както и връзкикъм допълнителни източници.PDF файловесинформа цияпо тематафигура 59 Електронни материали вmoodleфигура 60 Въпроси за самопроверка вmoodleфигура 61 Тест за самопроверка в moodleЙоана Минкова 23

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеТези материали се използват на етапа „Самоподготовка 1” от модела на фиг. 31 с целусвояване и задълбочаване на знанията на учениците/студентите. След това обучаемите трябвада направят тест за самопроверка, съдържащ 10-12 въпроса с отворен отговор и качен в moodle.Придобиването на практически умения става чрез семинарни/ лабораторните упражнения, вкоито преподавателите проверяват и задават въпроси най-напред върху теоретичната част, апосле и върху съставените от студента задачи по време на упражнението. Практическитеумения могат да се усъвършенстват и демонстрират и чрез разработване на курсов проект. Ощепо голяма увереност в своите знания, пък и натрупване на опит за представяне на теоретичнатачаст на предстоящо контролно, се придобива след самоконтрола с тестовете предложени следвсяка тема. Това става на етап „Самоподготовка 2” в предложения модел. Тестовете са отизборен метод, съдържащи по пет отговора, от които само един е верен. Тъй като са качени вmoodle, то времето за отговор е ограничено, а и системата автоматично оценява отговорите ипоставя оценка. Следващият етап е ежеседмичния контрол. Той включва проверка на домашниработи и разработена част от курсовия проект. Текущият контрол би било редно да се провеждапо няколко начина: в теоретичната си част с помощта на специално разработени тестове исистема за тяхното оценяване или чрез писмено развиване на теоретичните проблеми, като и вдвата случая, изтеглени чрез случаен избор на въпросите и темите. Окончателният контрол илиизпитът се провежда по традиционните начини за писмено (на ръка) описание на изтегленитечрез случаен избор теоретични въпроси и текстови код на програмите описващи решението напоставените задачи. За подготовка служат всички изброени по-горе дидактически материалипредоставяни в електронна форма или върху хартиен носител.2. Експериментиране на компютъризиран тестов контрол2.1. Създаване на тестове за текущ и финален контролТекущият контрол на студентите в курса “Структури в програмирането” се провеждапод формата на два теста по време на семестъра.Тестовете са създадени чрез технологията, описана в III глава и реализирани в авторскасреда ToolBook, която осигурява възможности за обратна връзка, проследяване действията натестваните лица, автоматична оценка. Тъй като от тези тестове зависи крайната оценка наобучаемите, следва да направим статистически анализ, за да проверим дали създаденитетестови въпроси са коректни и надеждни. Основната задача на тестовете е да бъдат инструментза обективно оценяване на знанията на студентите. Провеждането на тестов контрол назнанията на студентите с помощта на компютърните технологии ни дава възможност да сенатрупат достатъчно статистически данни, за да можем да решим и друга задача – даанализираме дали този инструмент е достатъчно добър. Според класическата теория натестовете основните измерителни характеристики на тестовете са трудност, дискриминация инадеждност2.2. Статистически анализ на създадените тестове2.2.1. Определяне на вероятност за брой верни отговориЗа определяне на оценъчните интервали, първото важно условие е да се определятвероятностите за различен брой верни отговора (от 0 до n), които може да въведе един студентпри случаен избор на отговор (при абсолютно непознаване на учебния материал).Вероятността за к на брой верни отговора се изчислява по формулата на Бернули:Йоана Минкова 24

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване(9)n!k nP p (1 p)k k!(n k)!kкъдето:n – брой въпроси;k – брой верни отговори;(n-k) – брой грешни отговори;p – вероятност за верен отговор;(1-p) –вероятност за грешен отговор.Това представяне се получава по следния начин на разглеждане на събитието А - {n-тепроведени опита са независими, като k от тях завършват с “успех”, а останалите (n-k) - с“неуспех”, където k = 0,1,…,n}. Вероятността за еднократна реализация на събитието А порадинезависимостта на опитите е равна на p k (1- p) n-k . Остава да умножим последния израз по броя наразличните начини, по които може да се сбъдне събитието А. За нас е без значение реда наотчитане на “успехите” - само искаме те да бъдат k на брой. Броят на различните начини зареализиране на събитието А е отношението:(10)n!k!(nk)!Тогава:p = 1/5 = 0. 2 - един верен отговор измежду 5 възможни1- p = 1- 0.2 = 0.8 - четири неверни отговора измежду 5 възможниМатематическото очакване и дисперсията на случайна величина се пресмятат поформулите:(11) E (X) = np и2(12) np(1p)x,където n = 35 (общият брой въпроси).Ако представим в графична форма получените данни за вероятността един студент даотговори на определен брой въпроси без да знае нищо се получава:фигура 62 Разпределение на вероятносттаОт графиката ясно се вижда, че при случаен избор на отговори, при пълно незнание наматериала, най-голяма е вероятността да се въведат 7 верни отговора.Математическото очакване е:(13) E ( x)np 35.0,2 7А дисперсията е:Йоана Минкова 25

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване(14) np( 1 p)20.0,2.0,8 2, 37x2.2.2. Определяне обема на извадката от въпросиНа теста са отговорили 49 студента. С цел да се анализират данните, получени на теста ида се изчислят мерките на разсейване по метода на сигмалните отклонения, можем да въведемданните в табл. 23:Табл. 23: Мерки на разсейванеОценки(бр.точки) винтерваленвариационенредЧестотаСреди наинтервалаАбсолютнаразликаf x x. f | x x | | x x | . fКвадрат наразликатаПроизведениеПроизведениеПроизведение22| x x | | x x | . f1 2 3 4 5 6 7 85 - 9 2 7 14 11,39 22,78 129,68 259,3610 - 14 13 12 156 6,39 83,04 40,80 530,4415 - 21 19 18 342 0,39 7,37 0,15 2,8622 - 28 13 25 325 6,61 85,96 43,72 568,3829 - 35 2 32 64 13,61 27,22 185,29 370,5949 901 226,37 1731,63Средният брой точки, получени от един студент се изчислява по формулата запретеглено средно аритметично:x.f 901(15) x 18, 39 ,f 49т.е. средният брой верни отговори, дадени от един студент е ~ 18.За да се получи средното аритметично отклонение, първоначално се изчисляватабсолютните разлики (колона 5) и получените се претеглят по съответните честоти (колона 6).По нататък изчислението на средно аритметично отклонение се извършва по формулата:| xx | .ff226,3749(16) δ4,62Изчисляването на дисперсията преминава през последователното повдигане наразликите от колона 5 на квадрат и получените квадрати се умножават по съответнитечестоти. Резултатите са посочени в колона 8, а сумата от тях представлява числителя наформулата за дисперсията. По този начин са налице необходимите стойности, за да изчислимдисперсията:22 | x x | . f 1731,6335,34(17)f 49Средното стандартно отклонение се получава като корен квадратен от дисперсията:| x x | . f35,34 5,94f(18)От получените данни можем да пресметнем и коефициента на вариация на среднотостандартно отклонение:Йоана Минкова 26

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване(19)Vx% x.1005,94.10018,3932,3%Полученият коефициент на вариация позволява да се направи извода, че съществуватголеми различия в успеваемостта на студентите.Както бе споменато тестът, на който се явяват студентите се състои от 35 въпроса.Всъщност тези въпроси са избрани по случаен признак от база, съдържаща 150 тестови въпроса.Тези 150 въпроса покриват целия преподаван до теста материал. За да преценим дали извадкатаот 35 въпроса е представителна и отразява обективно знанията на студентите е необходимо дасе пресметне нейния обем. От известните от статистиката формули за определяне на обема наизвадката (n) ще използваме тази, която се прилага при зададена грешка в проценти и при малкастойност на N (единиците в генералната съвкупност):t2 2V%n2t2V2 %(20) % NВъпросът, който си поставяме е: какъв обем на извадката ще бъде достатъчен, акоискаме броя на въпросите, съдържащи се в теста да отразяват преподавания материал, катооценката на този показател да бъде валидна с относителна грешка не по-голяма от 10% (∆),т.е. при 90% гаранция за сигурност. Във формула (20) се използва гаранционният множител t,чиито стойности е известно, че варират от 1 до 3. Избираме неговата средна стойност: 2. Отпредишните наблюдения сме пресметнали (8) коефициента на вариация V % =32,3. Прилагайкиформула (20) можем да изчислим обема на представителната извадка:n2t2V%2 2t V2 %% N21022.32,3222.32,321501004.1043,294.1043,291504173,16 4173,16 4173,1632,64173,16 100 27,82 127,82100(21) 150От полученият резултат, приблизително равен на 33 въпроса става ясно, че този бройвъпроси покрива с 90%-ова гаранция преподавания материал.2.2.3. Анализ на получените оценкиНаправеният анализ на резултатите от проведен експериментален тест в курса“Структури в програмирането” показва, че избраният брой въпроси – 35 отразява в достатъчнастепен преподаваният материал в първата част на курса (тестът се провежда след първатаполовина на семестъра). При този брой въпроси най-голяма е вероятността да бъдат отгатнатислучайно 7 верни отговора. Експерименталните данни потвърждават теоретичните. Товадоказва, че избраният интервал от точки (0-9) да съответства на оценка две е подходящоподбран.Йоана Минкова 27

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеПърви тестов контрол в НБУ са преминали 49 студента, а втори тестов контрол - 53.Процентното разпределение на получените оценки е визуализирано на фиг. 65.фигура 65 Процентно разпределение наоценките в НБУфигура 66 Процентно разпределение наоценките в професионалната гимназияПри експериментиране на същите тестове, учениците в средно училище получават понискиоценки фиг. 66.Можем да сравним разпределението на оценките, получени от студентите и ученицитесъс скалата на оценките (пунктираната крива), определена в съответствие с критериите заоценки на Европейската система за трансфер на кредити. Тази крива всъщност представя еднонормално Гаусово разпределение, при което максималният процент студенти получават оценкаДобър. Плътните криви представя разпределението на оценките на обучаемите от двата теста.Забелязва се, че кривите имат приблизително еднакво разпределение.2.2.4. Експериментално определяне трудността на тестовите въпроси набаза на сравнителен анализ на резултатите на студентите в ТУ- София иНБУЗа оценка на знанията на студентите по дисциплината Информатика I във ЕМФ в ТУ –София и в НБУ се използва компютъризиран тестов контрол.За определяне на коефициентите на трудност на използвания компютъризиран тест сеанализират резултатите на всички студенти явили се на първи и втори тестови контрол, като сеотчитат параметрите: номер на раздел, номер на въпрос от този раздел, случайно генериранвариант на въпроса, вид отговор на студента (верен/грешен) и процента на студентитеотговорили вярно на дадения инвариант спрямо общия брой студенти отговаряли на тозиинвариант.На първи тестов контрол в ТУ – София са се явили общо 133 студента.Той се състои от 35въпроса, равномерно разпределени и структурирани в 7 основни раздела. Съвкупността отполучените резултати, е описана в таблица, показваща оценката на трудността на въпросите пораздели.Построяваме хистограмата, визуализираща това разпределение (фиг.67), от която се вижда,че коефициента на трудност при тестовите задачи за първо контролно варира между 6% и 63 %.Повечето от генерираните варианти на въпросите попадат в интервала от 35 до 55 %, коетопоказва, че имат оптимален коефициент на трудност.Аналогичните резултати, получени в НБУ са представени на фигура 68.Йоана Минкова 28

трудност (%)трудност (%)Трудност (%)Трудност (%)Трудност (%)Трудност (%)Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване80757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 7въпрос 1въпрос 2въпрос 3въпрос 4въпрос 580757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 7въпрос 1въпрос 2въпрос 3въпрос 4въпрос 5фигура 67 Процентно разпределение натрудността на тестовите въпроси по раздели от 1-воконтролно в ТУ - Софияфигура 68 Процентно разпределение натрудността на тестовите въпроси по раздели от 1-воконтролно в НБУОценка на трудността по раздели на първо контролноОценка на трудността по раздели на първо контролно80757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 780757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 7фигура 69 Оценка на трудността по разделиот 1-во контролно в ТУ-Софияфигура 70 Оценка на трудността по разделиот 1-во контролно в НБУВижда се, че трудността на въпросите варира между 22% и 77 %, което е доста широкинтервал. Но ако пресметнем разпределението на трудността на въпросите, се получава, че 80 %от въпросите са в границите на оптималната трудност:От фигура 69 се вижда, че степента на трудност по разделите обхващащи материала за 1-воконтролно е в интервала 36% до 52% , следователно може да се направи извода, че оценката накоефициента на трудност на задачите от първи тестов контрол е оптимална.Аналогичната графика, получена при провеждането на 1-во контролно в НБУ (фиг.70),показва, че трудността на въпросите варира в интервала 39% - 62%. Т.е. същите въпроси са полесниза студентите в НБУ или те са по-силно мотивирани да учат, т.к. изследването епроведено със студенти от програма “Компютърни медийни технологии”, и тази дисциплина етясно свързана с тяхната бъдеща професионална реализация. Аналогично построяваметаблицата с данни и фигурите с процентното разпределение трудността на задачите от II-ритестов контрол. На втори тестов контрол в ТУ – София са се явили общо 124 студента.Той сесъстои от 30 въпроса, структурирани в 5 основни раздела. (фиг.71, фиг. 73):80757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 51 въпрос2 въпрос3 въпрос4 въпрос5 въпрос6 въпрос7 въпрос80757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5въпрос 1въпрос 2въпрос 3въпрос 4въпрос 5въпрос 6въпрос 7фигура 71 Процентно разпределение натрудността по раздели от 2-ро контролно в ТУ -Софияфигура 72 Процентно разпределение натрудността по раздели от 2-ро контролно в НБУЙоана Минкова 29

Трудност (%)Трудност (%)Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеОценка на трудността по раздели на 2-ро контролноОценка на трудността по раздели на второ контролно80757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 580757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5фигура 73 Оценка на трудността пораздели от 2-ро контролно в ТУ-Софияфигура 74 Оценка на трудността пораздели от 2-ро контролно в НБУОт фиг. 71 се вижда, че коефициента на трудност при тестовите задачи за второ контролноварира между 25% и 63 %. Повечето от генерираните варианти на въпросите попадат винтервала от 35 до 55 %, което показва, че имат оптимален коефициент на трудност.Получените данни в НБУ са представени на фиг.72 и фиг. 74.Забелязва се, че коефициента на трудност варира в интервала 26% -72%. Но ако пресметнемразпределението на трудността на въпросите, се получава, че 73 % от въпросите са в границитена оптималната трудност:Оценката на трудността на целия 2-ри тест по раздели е представена на фиг. 73 и фиг. 74.Вижда се, че степента на трудност по разделите обхващащи материала за 2-ро контролно е винтервала 30% до 48% в ТУ-София и 36% до 53% в НБУ, следователно може да се направиизвода, че оценката на коефициента на трудност на задачите от втори тестов контрол също еоптимална до леко трудна.Трудността на въпросите при проведени тестове в средното училище варира при първитестов контрол в интервала от 28% до 93%, а при втори тестов контрол в интервала от 13% до47%.2.2.5. Изследване индекс на дискриминация на въпросите в използванитетестове за оценка на знанията на студентитеИндексът на дискриминация е анализиран на базата на събрани статистически данни отпроведените тестове в НБУ и в ЧПГ по мултимедия, компютърен графичен дизайн и анимация.На първият тестов контрол са се явили 71 студента. Резултатите на първите 18 от тях,които са получили най-високи резултати формират „силната” група, а последните 18 с найнисъкрезултат, формират „слабата” група. Анализирани са отговорите на всеки един въпрос натези 36 студента, въз основа на което е изчислен индекса на дискриминация на въпросите впървия тест.От фиг. 75 се вижда, че коефициентът на дискриминация при тестовите въпроси за първоконтролно варира между 23 и 80.10095908580757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5 Раздел 6 Раздел 7въпрос 1въпрос 2въпрос 3въпрос 4въпрос 510095908580757065605550454035302520151050Раздел 1 Раздел 2 Раздел 3 Раздел 4 Раздел 5въпрос 1въпрос 2въпрос 3въпрос 4въпрос 5въпрос 6въпрос 7фигура 75 Индекс на дискриминация навъпросите в първия тестфигура 76 Индекс на дискриминация навъпросите във втория тестЙоана Минкова 30

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеИнтерпретирането на индексът на дискриминация е представено в табл. 36.Табл. 36 Интерпретиране индекса на дискриминацияИндекс наЗначениедискриминация (D)D >= 40Отлични въпроси30

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеполучава:Средната стойност от всички получени точки X = 11,39. Следователно за дисперсията сеR2= 22,14. Прилагаме формула (7) на KR #21:21kk11Xk( kX )230301111,39 (30 11,39)30 22,14(23)От полученият коефициент на надеждност R=0,70 на втори тестови контрол се вижда, четой също е надежден в достатъчна степен и може да се окачестви като добър инструмент заоценка на знанията.Сравняваме получените резултати от двата тестови контрола (фиг. 77). Забелязва се, чесъотношението на основните измерителни параметри при двата тестови контрола ееквивалентно, като се има предвид, че броя на тестовите задачи във втория тест е по-малък (30),което води и до по-малка дисперсия на получените резултати и следователно до по-голяманадеждност на теста.Сравнение между получените данни за първи и вторитестов контрол25,0020,000,7015,0010,005,000,00Средна стойностот полученитеточкидисперсия KR #21фигура 77 Сравнение между получените данни за първи и втори тестов контрол2.3. Статистически анализ на създадените тестове с използване наразработения програмен продуктПриложението за анализ на получените резултати предлага най-напред кратко обяснениеза смисъла и значението на индекса на дискриминация (фиг. 78). След това за всеки отвъпросите (посочени с техните имена) е определена стойността на индекса и са групираниспоред интервала, дефиниран от [18]. Дадени са насоки за това дали може да продължава да сеизползва конкретният въпрос или е необходимо да бъде преработен. Графиката визуализирастойностите на дискриминационния индекс на всеки въпрос.тест 1тест 2фигура 78 Индекс на дискриминация навъпроситефигура 79 Трудност на въпроситеЙоана Минкова 32

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванефигура 80 Постижения на обучаемитефигура 81 Разпределение на оценкитеЕкранът на приложението отново дава кратка информация относно смисъла напараметъра „трудност” на въпроса, а след това посочва кои са трудните, лесните, оптималнитевъпроси, кои е необходимо да се преразгледат като структура и като алтернативи и кои могат дапродължат да се използват (фиг. 79). Графичното представяне на трудността на въпроситепозволява бърза ориентация за преподавателя каква е степента на трудност на теста.Друга опция която имат на разположение потребителите на приложението нагледно давидят постиженията на всеки един от обучаемите (фиг. 80). Графиката показва поименнотестваните лица и броя на верните отговори на всеки от тях.Последната опция в приложението визуализира разпределението на получените оценки(фиг. 81). Графичното представяне на оценките позволява на преподавателят да види далирезултатите от теста е в съответствие с критериите за оценки на Европейската система затрансфер на кредити (представени в Помощната таблица на страница И-3 от практическоторъководство на ECTS), според които максималният процент студенти получават оценка„Добър”, при което резултатната графика представя нормално Гаусово разпределение.Извод 1:Болшинството от създадените тестови задачи имат коефициент на трудност в границите37%-68 %, който се счита за оптимален.Разгледани са въпросите с екстремни показатели на трудност. В резултат на което еобърнато внимание на два въпроса от първи текущ контрол които се открояват като по-лесни,както и на един въпрос от втори текущ контрол, открояващ се като много труден и за дветегрупи обучаеми.При изследване на коефициента на трудност на тестов контрол със студенти от ЕМФ,ТУ-София и от НБУ се забелязват отклонения от 3% до 10 % в трудността за двете групи, коетоможе да се обясни с това, че студентите в НБУ са по-силно мотивирани да изучаватИнформатика, т.к. изследването е проведено със студенти от програма “Компютърни медийнитехнологии” и тази дисциплина е тясно свързана с тяхната бъдеща професионална реализация.Изследванията на трудността на въпросите при проведени тестове в средното училищепоказва, че въпреки, че преподаваният материал е един и същи, проведените тестове се оказватпо-трудни за учениците, което е обяснимо от гледна точка на тяхната възраст и образователнастепен.Извод 2:Анализът на индекса на дискриминация от проведените тестове със студенти в НБУсочи, че:- Няма въпроси с индекс по-нисък от 19, които не трябва да бъдат използвани.Йоана Минкова 33

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяване- По-голямата част от въпросите (79 % за първи тест и 84% за втори тест) могат да сеокачествят като „отлични” тъй като за тях D>=40.- Необходимо е още веднъж да се огледат някои въпроси (16 % за първи тест и 13% завтори тест), за които индексът на дискриминация е в интервала 30>D>=39, т.е. следва да сенаправи опит да се преработи въпроса.- Съществуват и три въпроса с дискриминация между 20 и 29. Това се дължи на факта, чедва от тях са много лесни, а третият – много труден.- Един единствен е въпросът, който е с индекс на дискриминация 29 и е задължителнодистракторите да се заменят с по-кратки и ясни съждения.При провеждане на тестовете с ученици в гимназията индексът на дискриминация варира всходни граници. От първият тестов контрол с индекс на дискриминация D>=40 са 65% отвъпросите, а за 25% от въпросите D e в интервала 30-39. При вторият тестов контрол данните сасъответно 80% и 17%. Въпросите с дискриминация между 20 и 29 съвпадат и за двете групиобучаеми.Извод 3:При сравнение на оценките, получени от студентите в НБУ и в средното училище сезабелязват следните тенденции:- Оценките на студентите са по-високи от оценките на учениците;- Съществените разлики (в рамките на 9%-15%) са при оценки „добър” и„много добър”, което е допустимо, имайки предвид разликата във възрасттаи образователната степен на експерименталните групи. При разпределениетона останалите оценки резултатите са почти идентични (с отклонения от 2 до4%).- Разпределението на оценките и на двете групи се приближава додефинираното от практическото ръководство на ECTS.Извод 4:Статистическият анализ, направен съгласно формулата на Кудер – Ричардсън #21показва, че коефициентът на надеждност и на двата теста е над 0.60 (съответно R=0,68 за тест 1и R=0,70 за тест 2). Това показва, че използваните тестове за измерване на знанията настудентите и учениците са в достатъчна степен надеждни за оценка на знанията.Извод 5:Разработен е инструмент (софтуерно реализиран в глава III), който анализиракачеството на тестови задачи. Анализът помага за оптимизиране надеждността на тестовете,контролиране на трудността и индекса на дискриминация на тестовите задачи и подпомагауправлението на обучението. Проведените експерименти с три различни групи обучаеми – двегрупи студенти в различни университети и една група ученици, водят до сходни резултати.Получените отклоненията при измерването на трудността, индекса на дискриминация иразпределението на оценките са в интервала 3%-15%. Смятаме, че са допустими зарадиразликата в образователната степен (ученици-студенти) и в характеристиката на дватауниверситета (инженерен-технологичен). Резултатите показват, че предложеното технологичнорешение работи еднакво добре и с трите експериментални групи.Йоана Минкова 34

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеV. ЗаключениеСравнителният анализ и оценка на авторски системи и такива с отворен код за създаванена мултимедийни обучителни материали показват, че най-подходящи за създаване иразпространение на обучителни материали в училища и университети са авторската средаToolBook и платформата за електронно обучение Moodle. Те осигуряват подпомагането научебния процес и в онлайн и в офлайн режим. Изследването е насочено към интегрираното имизползване и с проверка на възможността за обмен на информация между тях.Мултимедийните среди поддържат SCORM стандарт и предоставят възможности засъздаване на тестове в самата среда, но не позволяват да се осъществи преносимост на тестовемежду двете среди и лесното интегриране, визуализиране и автоматизирано интерпретиране нарезултатите.След разглеждане на различни модели и подходи, прилагани в обучението се налагасъздаването на модел, който да е разбираем от обучителите, да е лесно приложим в тяхнатаработа. Моделът описва фазите и етапите на учебния процес, като посочва какви електронниобразователни ресурси е подходящо да се използват на всеки етап. Включва и софтуеренпродукт, явяващ се интегратор на мултимедийните среди. Софтуерният продукт осигурявавъзможност за автоматизирано въвеждане в мултимедийни среди на тестови въпроси,предварително създадени в широко разпространен и лесен за използване продукт, напр. MSWord, създавайки база данни – банка въпроси. Използването на натрупаните статистическитеданни от проведен тест в среда Мoodle или ToolBook осигурява възможност на преподавателитеза анализ и графична визуализация на някои параметри на теста. Това улеснява и подпомагапреподавателите при вземането на управленски решения за процеса на обучение.Докторантския труд разработва, експериментира и прилага технологично решение заизследване на учебния процес и тълкуване на резултатите с цел подпомагане управлението напроцеса. Технологичното решение представлява премерена съвкупност от методи и подходи,включващи създадения модел и мултимедийни среди.Проведените експерименти (в средно училище и два университета) за проверка намодела и оценка на създадените дидактически материали показват, че разработенототехнологично решение помага за оптимизиране надеждността на тестовете, контролиране натрудността и индекса на дискриминация на тестовите задачи и подпомага управлението научебния процес. Проведените експерименти с три различни групи обучаеми – две групистуденти в различни университети и една група ученици, водят до сходни резултати, сотклонения от 3% до 15%. Смятаме, че са допустими заради разликата в образователната степен(ученици-студенти) и в характеристиката на двата университета (инженерен-технологичен).Резултатите показват, че предложеното технологично решение работи еднакво добре и с тритеекспериментални групи.Натрупаните резултати ще инициират възможност да се разшири инструментариума, дасе развият дидактическите материали и да се подготви по голям експеримент за изследване навръзката между получените резултати, планираните стратегии и тактики с инструментите зауправление на обучението.Йоана Минкова 35

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеОтделни части от дисертацията са докладвани на национални и международни научниконференции:Конференция№ на статия отсписъка спубликацииInternational scientific conference “Computer Science 2004”, [1]Sofia, BulgariaSecond International scientific conference “Computer Science [2]2005”, Halkidiki, Greece,Third international Bulgarian - Turkish conference „Computer [3]Science 2006”, Istanbul, TurkeyFourth international Bulgarian- Greek conference „Computer [5], [6]Science 2008, Kavala, GreeceProc. of Fifth international Scientific conference „Computer [7]Science 2009, Sofia, BulgariaXX юбилейна международна научно-техническа [8]конференция АДП 2011, Созопол, БългарияМеждинни резултати от дисертацията са отчетени при работата на кандидата по няколконаучни проекта:Проект на МОН „Изследване, моделиране и избор на методи и техническисредства за електронно обучение... ”, по договор № I1207/02. Темата е от плана нанаучния съвет за „Научни изследвания” на МОН; смесен колектив – НБУ, ТУ-София;Проект на НИС на ТУ-София, ВHИ № 555/05 на тема „Изследване на модели исъздаване на дидактически материали за контрол и оценка качеството наобучение в два курса по Информатика в условията на Е-обучение в локалнатамрежа на ТУ-София и Интернет.”;STELLA: Science Teaching In LifeLong Learning /2008-2009/, Програма Леонардода Винчи, "Учене през целия живот";Международен проект STENCIL: Science Teaching European Network Contributingto Innovation in Learning /2011-2013/; Програма Леонардо да Винчи, "Учене презцелия живот".Забелязани са 7 цитата и 5 автоцитата на посочените в дисертацията публикации потемата.VI. Приноси1. Изследване и сравнителен анализ на мултимедийни среди и модели на обучение./научно-приложен/2. Създаване на модел на развитието на учебния процес, приложим в средното ивисшето образование. /научен/3. Проектиране и реализация на програмен продукт, унифициращ въвеждането надидактически материали в мултимедийни среди и извеждане на резултатите. /приложен/4. Експериментално изследване на разработеното решение /научно-приложен/Йоана Минкова 36

Изследване на възможности и средства за интегриране в мултимедийни среди на дидактически материали за оценяванеVII. Публикации[1] Jelev Gospodin, Minkova Yoana. Determination of representative sample size and knowledgeassimilation test results processing. Problems & discussion. Proc. of International scientificconference “Computer Science 2004”, Sofia, Bulgaria; pp. 274-279[2] Jelev Gospodin, Minkova Yoana. An Integrated Approach for Organization of Questions Inputin a Computerized Test. Proc. of Second International scientific conference “Computer Science2005”, Halkidiki, Greece, part II, pp. 253-258,ISBN 954 438 526 6[3] Jelev Gospodin, Minkova Yoana. Automated output and processing of the computerized test.Proc. of Third international Bulgarian - Turkish conference „Computer Science 2006”,Istanbul, Turkey, part II, pp. 164-169[4] Jelev Gospodin, Minkovska Daniela, Minkova Yoana. Еxamination of reliability anddiscrimination index of test items for knowledge assessment // Computer engineering, 2008, №1, pp. 86 – 89[5] Jelev Gospodin, Minkova Yoana. Comparative Analysis of Authoring Tools for MultimediaApplication Development, Proc. of Fourth international Bulgarian- Greek conference„Computer Science 2008, Kavala, Greece, part III, pp. 978-983, ISBN: 978-954-580-256-0[6] Jelev Gospodin, Minkova Yoana. An Integrated Approach for Organization of theComputerized Test Results’ Output. Proc. of Fourth international Bulgarian-Greek conference„Computer Science 2008, Kavala, Greece, part III, pp. 973-977, ISBN:978-954-580-256-0[7] Minkova Yoana. Integrating Document Based Quizzes in moodle LMS. Proc. of F ifthinternational Scientific conference „Computer Science 2009, Sofia, Bulgaria, part II, pp. 395-400, ISBN:978-954-438-853-9[8] Йоана Минкова, Господин Желев. Мултимедийни приложения за обучение поCAD/CAM. Сборник доклади от XX юбилейна международна научно-техническаконференция АДП 2011, Созопол, БългарияЙоана Минкова 37

Research of possibilities and methods for integrating in multimedia environments of didactical materials for assessmentResearch of possibilities and methods for integrating in multimedia environmentsof didactical materials for assessmentSummaryThe aim of the thesis is to perform a research on existing approach and program tools, to createa method and to develop a solution that integrates the capabilities of multimedia environments withpedagogical and structural models describing the functional development of the learning process,automation of assessment, management of educational processes. The solution aims to facilitate thecreation and implementation of teaching materials and their transfer between different educationalenvironments. Providing students with various electronic teaching materials, depending on the formsand stages of training, an opportunity for a better organization of the educational process will becreated. Collecting results in databases should allow automated processing, visualization and theircorrect interpretation. All this should facilitate teachers and lecturers in training management.The comparative analysis and evaluation of authoring and open-source systems fordevelopment of multimedia training materials indicates that the most suitable for the creation anddistribution of educational materials in schools and universities are ToolBook authoring tool and e-learning platform Moodle. They provide support of learning in online and offline mode. The study isaimed at integrating their use and inspection of the ability to exchange information between them.After reviewing different models and approaches in training, the creation of a model that isunderstood by trainers and is easily applicable in their work is imposed. The model describes thephases and stages of the learning process, stating what electronic educational resources are suitable tobe used at each stage. It includes a module, which integrates multimedia environments. This moduleenables automated input in multimedia environments of test questions, previously created in awidespread and easy to use product, e.g. MS Word, creating a database – test bank. Using the statisticsof tests carried out in Moodle or ToolBook environment provides the possibility for teachers to getanalysis and graphical visualization of some parameters of the test. This facilitates and assists teachersin making management decisions about the learning process.PhD thesis develops, experiments and implements technology solution for analyses ofeducational process, interpreting the results in order to help the process management. Technologicalsolution is a measured set of methods and approaches, including the developed model and multimediaenvironments.The experiments (in vocational school and two universities) for model validation andevaluation of the developed teaching materials indicate that the technological solution helps tooptimize the reliability of the tests, to control difficulty index and the discrimination of the tests andhelps to manage the educational process. Experiments, conducted with three different groups ofstudents - two groups of students in different universities and a group of students in a school, led tosimilar results, with deviations from 3% to 15%. We consider that they are admissible because of thedifference in educational level (secondary – high education) and because of the characteristics of theuniversities (Engineering - Technology). The results show that the proposed solution works equallywell with all three experimental groups.Collected outcomes will initiate opportunity to extend the toolkit for development of didacticmaterials and to prepare a bigger experiment for research and analyses of relationships between theresults obtained, planned strategies and tactics, and tools for management of education.Yoana Minkova 38