Evaluación de la Reusabilidad de los Objetos de Aprendizaje - UPSA

Evaluación de la Reusabilidad de los Objetos de AprendizajeJavier Sanz RodríguezDepartamento de Informática. Universidad Carlos III de MadridAv. Universidad 30 – 28911, Leganes, Madrid, Españajavier.sanz.rodriguez@uc3m.esJuan Manuel DoderoDepartamento de Lenguajes y Sistemas Informáticos. Universidad de CádizC/ Chile, s/n, –1003, Cádiz, Españajuanma.dodero@uca.esMarcela Cristina ChiaraniDepartamento de Informática. Universidad Nacional de San LuisEjercito de los Andes 950 – 5700 San Luis, Argentinamchiarani@unsl.edu.arSalvador Sánchez-AlonsoDepartamento de Ciencias de la Computación. Universidad de Alcalá de HenaresCtra. Barcelona km. 33600 – 28871 Alcalá de Henares, Madrid, Españasalvador.sanchez@uah.esResumen. Este documento presenta un acercamiento a la evaluación de la reusabilidad de los objetosde aprendizaje. Primeramente, se realiza un análisis de los diferentes factores que determinan, apriori, la capacidad de reutilización de un objeto de aprendizaje. Posteriormente se estudia como sepueden evaluar dichos aspectos cuantitativamente, basándose en la información contenida en susmetadatos. Finalmente se muestra un ejemplo de evaluación de la reusabilidad de un objeto deaprendizaje.Palabras clave: Reusabilidad, objeto de aprendizaje.1 IntroducciónEl mayor beneficio que se espera de los objetos de aprendizaje es su potencial de reutilización. Existe laexpectativa de que facilitaran el desarrollo de los sistemas de enseñanza distancia, aumentando laproductividad, disminuyendo los costes y mejorando la calidad de los mismos [6].Si lo que más interesa de los objetos de aprendizaje es su capacidad de reutilización, poder estudiarqué factores la determinan será de gran interés, ya que ayudará en el proceso de desarrollo y facilitará labúsqueda de objetos reutilizables, que podrán ser usados en distintos contextos educativos y bajodistintos entornos tecnológicos. Siendo necesario tener siempre presente que este proceso de reutilizaciónimplicará, en mayor o menor medida, una reformulación del objeto para poder adaptarlo al nuevocontexto.Se puede afirmar que la reutilización de un objeto de aprendizaje es un hecho empírico y observable,mientras que la reusabilidad es un atributo intrínseco del objeto que da una medida a priori de la

capacidad de reutilización, y que puede ser contrastada por datos de reutilización a posteriori. Sinembargo, actualmente nos encontramos ante un panorama que no ayuda a la consecución del beneficioprometido de la reutilización: no existen suficientes estudios sobre indicadores de reusabilidad ni sobrecriterios de diseño que la garanticen [12].Se tomará como marco de trabajo una definición de objeto de aprendizaje que incluye a cualquiermaterial educativo independiente y autocontenido, de carácter digital, identificado con unos metadatosque lo hacen accesible y diseñado para ser reutilizado en diferentes contextos educativos.En las siguientes secciones tras analizar algunas iniciativas de evalución existentes, se identifican losaspectos que influyen en la reusabilidad de los objetos de aprendizaje, para relacionarlos con losmetadatos que describen al objeto y poder obtener una evaluación cuantitativa de la reusabilidad.2 Evaluación de los objetos de aprendizajeAnálogamente a lo que sucede con cualquier desarrollo software, es necesario evaluar los objetos deaprendizaje para garantizar su calidad. Existen varias iniciativas para proporcionar esta evaluación, de lascuales se analizan a continuación las realizadas en los repositorios Merlot y Elera.Merlot (http://www.merlot.org) clasifica los objetos en siete grandes categorías: artes, economía,educación, humanidades, matemáticas, ciencia y tecnología. Permitiendo la evaluación de los objetos porparte de expertos y de usuarios mediante tres dimensiones: calidad del contenido, facilidad de uso, yefectividad como herramienta de aprendizaje. Valorándose cada aspecto en una escala numérica del 1 al5, que califica los objetos desde pobres a excelentes. La media ponderada de las tres dimensiones será elvalor final de evaluación del objeto de aprendizaje. [13].ELera (http://www.elera.net) permite a los usuarios evaluar los objetos mediante la herramienta LORI(Learning Object Review Instrument) [9], que abarca la evaluación de nueve aspectos: calidad decontenidos, cumplimiento de objetivos, retroalimentación y capacidad de adaptación, motivación,presentación, usabilidad, accesibilidad, reusabilidad y cumplimiento de estándares. Análogamente acomo sucede en Merlot, cada aspecto se valora en una escala del 1 al 5. Hay que reseñar que utilizandoeLera se han desarrollado iniciativas de evaluación colaborativa, en las que participan grupos de expertos.En esta modalidad una primera fase sirve para evaluar los objetos de forma individual y asíncrona paraposteriormente discutir las evaluaciones y acordar el resultado final. [13].3 Evaluación de la reusabilidadLas iniciativas de evaluación anteriores se basan en la opinión de usuarios y expertos sobre diferentesaspectos de los objetos. Para poder sistematizar la evaluación de los objetos se va a tomar como fuente deinformación principal los metadatos que describen al objeto, interpretados por un experto. Aunqueteniendo siempre presente que estos metadatos presentarán diferentes problemas [11]:− La información aparece desestructurada, rellenada de forma fragmentaria y con problemas deintegridad.− Existe una necesidad de extender los metadatos con más información que facilite la reutilización.Para desarrollar este estudio se ha utilizado la metodología definida por Etzkorn [4] para medir lareusabilidad del software orientado a objetos. Según ella, se seguirán los siguientes pasos:1. Estudiar qué aspectos influyen en la capacidad de reutilización de un objeto de aprendizaje.2. Identificar los elementos de metadatos de los objetos de aprendizaje que tienen informaciónsobre cada aspecto. Se utilizará como referencia el estándar de metadatos IEEE LOM [7].4 Aspectos que determinan la reusabilidadEn diferentes estudios [10], [3] y [5] se han analizado los factores que determinan la reusabilidad de unobjeto. Se pueden sintetizar de la siguiente manera.

Nivel EstructuralReusabilidadNivel TecnológicoNivel EducativoFigura1. Facetas de la reusabilidad.Desde un punto de vista estructural un objeto de aprendizaje reutilizable debe ser:− Autocontenido. Debe tener sentido por si mismo. Las referencias a otros recursos pueden disminuir sureusabilidad y la presencia de prerrequisitos necesarios para ser realizado pueden dificultar suadaptación a otros contextos.− Modular. Para poder ser combinado con otros objetos formando lecciones o cursos.− De una granularidad adecuada. Un tamaño adecuado y un objetivo educativo específico facilitará sureutilización.− Localizable. El objeto debe ser identificable a través de sus metadatos, que deben estar correctamenterellenados.− Modificable. El objeto debe tener la capacidad de ser modificado para poder reformularlo adaptándoloa un determinado contexto, aumentando así las posibilidades de reutilización. La complejidad decomprensión de un objeto de aprendizaje puede dificultar su reformulación para poder reutilizarlo enuna unidad de aprendizaje.− Fácil de usar y con una interfaz intuitiva.− Estandarizado: diseñado siguiendo unos estándares adecuados.Desde un punto de vista contextual, las dependencias del objeto de aprendizaje de su contexto puedenlimitar su capacidad de reutilización. Además cuanto más específico sea el contexto, menores serán lasposibilidades de reutilización. Se puede hablar de factores contextuales en las dimensiones: tecnológica,educativa y social:A nivel tecnológico existen:− Dependencias de plataformas y de software necesario para acceder a los objetos.− Dependencias de representación: Los objetos deberían separar los contenidos del formato derepresentación.A nivel educativo y social el objeto de aprendizaje debería tener las siguientes características:− Genericidad. Cuanto más genérico sea, más reutilizable será. Los objetos de aprendizaje que tratenaspectos más generales, serán más fácilmente reutilizables que aquellos que sean más avanzados oespecializados.− Preparado para ser usado en diferentes niveles educativos, con diferentes contenidos y evaluaciones.

− Pedagógicamente neutral. Utilizable con cualquier metodología educativa.− Carente de dependencias institucionales, legales, sociales y culturales.− Independiente de la ubicación desde donde se cursa.− Independiente del tiempo. No depende de la ocurrencia de determinados eventos.Tabla 1. Resumen de aspectos que determinan la reusabilidad.Estructural Tecnológico EducativoAutocontenidoModularGranularidad adecuadaLocalizableModificableFácil de usarEstandarizadoIndependiente deplataformas y de software.Independiente de formatode representaciónGenéricoAdaptable a diferentes niveles educativosPedagógicamente neutralCarente de dependencias institucionales,legales, sociales y culturalesIndependiente de la ubicaciónIndependiente del tiempoParece lógico que los diseñadores tiendan a crear objetos con múltiples dependencias para enriquecer elproceso de aprendizaje, frente a objetos independientes y autocontenidos pero que aportan unconocimiento poco significativo. Ante está situación surge el reto de diseñar objetos cohesionados,desacoplados y con un contenido pedagógico significativo para que su reutilización sea provechosa [1].Los aspectos hasta aquí estudiados determinan la reusabilidad de los objetos de aprendizaje. En lasiguiente sección se analiza qué metadatos recogen información sobre dichos aspectos.5 Identificación de metadatos relacionados con cada aspecto.En esta sección se relacionan los aspectos que caracterizan la reusabilidad con los metadatos quedescriben al objeto.5.1 Reusabilidad a nivel estructuralDespués de determinar que un objeto reutilizable debe ser autocontenido, modular, de una granularidadadecuada, localizable, modificable, fácil de usar y estandarizado, se identificaran qué apartados de LOMpueden proporcionar esa información.El apartado Semantic density de LOM: Representa lo conciso que es un objeto de aprendizaje.Lógicamente cuando más conciso, más autocontenido será.El apartado Relation de LOM: Permite crear tantas instancias como relaciones tenga el objeto. LOMpermite categorizar la semántica de estas relaciones como:− is version of− has version− is format of− has format− references− is referenced by− is based on− is basis for− requires− is required by− is part of− has partUn gran número de relaciones podría indicar que el objeto es poco autocontenido, aunque habría queanalizar la naturaleza de las mismas en detalle, ya que algunas representan dependencias, como larelación references, y otras tienen un carácter meramente informativo, como is version of.Un objeto de aprendizaje puede contener otros objetos, formando relaciones de agregación. Cuantomenos objetos contenga, más autocontenido será [16].

El apartado Aggregation level de LOM: Indica el nivel de agregación de un objeto de aprendizaje,tomando valores que van desde el 1 al 4, representado desde un simple recurso como una imagen o texto,a una lección, un curso o un conjunto de cursos relacionados. Cuanto menor sea el nivel de agregación deun objeto, más autocontenido será.Un objeto de aprendizaje abarca una serie de conceptos. Cuanto menor sea su número másautocontenido será. [16]. Un objeto de aprendizaje debería tener un único y claro objetivo de aprendizaje[1]. No existe una apartado LOM que proporcione esta información, por lo que serían necesarios nuevosapartados en los metadatos que indicaran explícitamente los conceptos tratados por el objeto y losobjetivos de aprendizaje que cubre. Ante esta carencia, se podría completar la informacióninspeccionando el objeto, aunque esta opción dificultaría cualquier automatización de la evaluación, porlo que no sería adecuada.Se puede concluir que lo autocontenido que sea un objeto depende de la densidad semántica, delnúmero de relaciones que tiene, del nivel de agregación que presenta, del número de conceptos que tratay de la cantidad de objetivos de aprendizaje que cubre. Evaluar esta característica de un objeto deaprendizaje de esta forma, nos dará una información válida sobre su capacidad de reutilización.De forma análoga a la taxonomía presentada por Wiley [15], se pretende realizar una clasificación losobjetos de aprendizaje, ponderando el grado de autocontención de los mismos en función de suscaracterísticas, proponiendo la siguiente tabla:Tabla 2. Valores posibles para medir lo autocontenido que es un objeto.Autocontenido Descripción del objeto de aprendizaje. ValorMuy alta Objetos independientes y plenamente autocontenidos. 5AltaObjetos autocontenidos pero con alguna dependencia. 4Reutilizable con alguna pequeña adaptación.MediaObjetos con varias dependencias. Reutilizable con 3varias adaptaciones.Baja Objetos con múltiples dependencias. 2Muy baja Objetos totalmente dependientes de otros. 1Para los objetos de aprendizaje el análisis de su tamaño o granularidad, nos dará una información clarasobre su capacidad de reutilización, ya que, en general, cuanto menor sea su tamaño, mayor será sucapacidad de reutilización.El tamaño de un objeto de aprendizaje es directamente proporcional a los siguientes elementos deLOM.− Size: indica el tamaño del objeto en bytes. Esta información tendrá que ser ponderada dependiendo delformato del objeto, ya que tendrá diferentes interpretaciones según sean textos, videos, etc.− Duration: indica la duración, especialmente útil para animaciones o videos.− Typical Learning Time: indica el tiempo esperado en cursarlo. Este es el dato que podemos considerarcomo más fiable para estimar el tamaño de un objeto de aprendizaje.LOM clasifica los objetos de aprendizaje según su tamaño, siguiendo la siguiente tabla:Tabla 3. Valores posibles para el tamaño de un objeto según LOM.Tamaño Descripción del objeto de aprendizaje. ValorMínimo Objetos atómicos como una imagen o un texto. 5Pequeño Objetos de poco tamaño. 4Medio Objetos de tamaño medio como lecciones. 3Grande Lecciones formadas por varios objetos. 2Elevado Cursos formados por múltiples lecciones. 1En cuanto a los aspectos restantes, la modularidad, modificabilidad y la facilidad de uso estánrelacionadas con el grado de autocontención del objeto. Los restantes aspectos, localizable yestandarizado, se alcanzarán si los metadatos están completamente rellenados, de forma correcta yevitando ambigüedades.

5.2 Reusabilidad a nivel tecnológicoEs necesario estudiar la medida de la dependencia del contexto (a nivel tecnológico y a nivel educativosocial)de los objetos de aprendizaje. Cuantas menos dependencias aparezcan más portable será el objetode aprendizaje, y más fácilmente podrá ser reformulado en un nuevo contexto.A nivel tecnológico se pueden analizar estos elementos de metadatos del estándar LOM, queproporcionan información sobre reusabilidad:− Format: Determina el formato de los componentes del objeto de aprendizaje. Porejemplo:"video/mpeg", "application/x-toolbook", "text/html". Estudiando este elemento se podríadeterminar si un objeto de aprendizaje es fácilmente portable dependiendo del tipo de componentes.Un formato “text/html” será más portable que “application/x-toolbook”.− Requirement: Indica los requisitos hardware y software para utilizar el objeto. Cuanto más sean y máscomplejos, menos portable será el objeto.A partir de estos datos se puede calificar la reusabilidad tecnológica de un objeto de aprendizaje con lossiguientes valores [2]:Tabla 4. Valores posibles para la reusabilidad tecnológica de un objeto.Reusabilidad tecnológica Descripción del objeto de aprendizaje. ValorMuy altaEl recurso utiliza una tecnología presente en la práctica totalidad 5de los sistemas, como una página html.AltaUtiliza formatos presentes en muchos sistemas. Por ejemplo un 4texto en formato pdf.MediaObjetos con requerimientos tecnológicos no presentes en todos 3los sistemas.Baja Objetos difícilmente reutilizables a nivel tecnológico. 2Muy bajaObjetos que dependen de una tecnología propia (por ejemplo unservidor propio) y no pueden ser reutilizados sin ella.15.3 Reusabilidad a nivel educativoA nivel educativo se puede hablar de reusabilidad vertical y reusabilidad horizontal [2]. La vertical indicala posibilidad que tiene un objeto de ser utilizado en diferentes niveles educativos mientras que lahorizontal determina la interdisciplinaridad del mismo. Para determinar esta reusabilidad a niveleducativo podemos analizar estos elementos de metadatos de LOM:− Context: indica los posibles contextos educativos en los que puede ser utilizado: school, highereducation, training, other. Cuantos más contextos, más posibilidades de portabilidad.− Typical Age Range: indica los posibles rangos de edades en los que puede ser utilizado. Cuanto másrangos de edad, más posibilidades de reutilización.− Language: representa los lenguajes que soporta el objeto. Cuantos más sean, más opciones dereutilización.− Clasification: proporciona información para clasificar el objeto como la disciplina a la que pertenece,etc. Cuanto más específico, menor reutilización.Tabla 5. Valores posibles para la reusabilidad educativa de un objeto.Reusabilidad educativa Descripción del objeto de aprendizaje. ValorMuy altaObjetos genéricos, pedagógicamente neutrales y utilizables en 5diferentes niveles educativos.Alta Objetos utilizables en varias disciplinas y niveles educativos. 4Media Objetos utilizables en un área y nivel educativo específico. 3BajaObjetos con algunas dependencias a nivel educativo y reutilizables 2utilizando alguna modificación.Muy bajaObjetos con muchas dependencias a nivel educativo y difícilmentereutilizables.1

6 Ejemplo de evaluación de reusabilidad.Para aplicar la metodología de evaluación de reusabilidad propuesta se ha elegido un objeto deaprendizaje del repositorio eLera, obteniéndose los siguientes resultados:Tabla 6. Ejemplo de evaluación de los aspectos que determinan la reusabilidad.Objeto de aprendizaje Newton's First Law EvaluaciónCohesiónAbarca un único concepto3Presenta un único objetivo de aprendizajeDependencias (relaciones):− Tiene referencias a otros apartados del mismo sitio web y aotros sitios (references).− Es parte de un curso (is part of).− Tiene el formato del sitio al que pertenece (has format).Nivel de agregación: Nivel 2. Lección.Tamaño Lección de tamaño medio. 3Reusabilidad tecnológica Página html usando asp, flash y javascript. 4Reusabilidad educativa Contexto: School.Lenguaje: Inglés.Typical Age Range: Primaria y Secundaria.Clasificación: Ciencia->Física->Mecánica.3Figura2. Objeto de aprendizaje evaluado.7 Conclusiones y futuras líneas de investigaciónEvaluar la reusabilidad de un objeto de forma sistemática a partir de la información de sus metadatospuede proporcionar una medida clara de su capacidad de reutilización.Además, obtener información sobre la reusabilidad de los objetos será útil a la hora de seleccionarobjetos fácilmente reutilizables y ayudará en el desarrollo de los mismos, mejorando la productividad ycalidad de los sistemas de enseñanza a distancia.

Finalmente, como se apunta en [15] otra posible mejora consistiría en incluir el resultado de estasevaluaciones en los metadatos, lo que permitiría, a la hora de buscar objetos, analizar su capacidad dereutilización.En futuros trabajos se pretende validar cómo estas informaciones de reusabilidad podrían agregarseobteniendo una medida cuantitativa de la reusabilidad del objeto.También sería interesante investigar la posibilidad de automatizar el proceso de evaluación de lareusabilidad a partir de la información almacenada en los metadatos.8 Referencias1. Boyle, T: Design principles for authoring dynamic, reusable learning objects. En Australian Journal ofEducational Technology, 2003, pp. 46-58.2. Currier, S, Campbell, L: Evaluating learning resources for reusability: the “dner & learning objects” study. EnProceeding of The Australasian Society for Computers in Learning in Tertiary Education (ASCILITE 2002)Auckland, Nueva Zelanda. 2002.3. Daniel, B, Mohan, P.: A Model for evaluating learning objects. En Proceeding of the IEEE InternationalConference on Advanced Learning Technologies (ICALT 2004). 30 Ago.-1 Sept. 2004. pp 50-60.4. Etzkorn, L. H., Hughes, W. E., Davis C. G.: Automated reusability quality analysis. En Information andSoftware Technology. 43 (2001), pp 295-308.5. Huddlestone J, Pike, J.: Learning object reuse – A four tier model. En People and Systems - Who Are WeDesigning For. Nov. 2005.6. Koper, R. Combining re-usable learning resources and services to pedagogical purposeful units of learning. InA. Littlejohn (Ed.), Reusing Online Resources: A Sustainable Approach to eLearning (pp. 46-59). London:Kogan Page. 2003.7. IEEE Learning Technology Standards Committee (LTSC): “Learning Object Metadata (LOM)”, Final DraftStandard, IEEE 1484.12.1-2002.8. Marichal J.L.: An axiomatic approach of the discrete choquet integral as a tool to aggregate interacting criteria.En IEEE Transactions on fuzzy systems. Dic. 2000. 8 (6) pp 800-807.9. Nesbit J., Belfer K., Leacock T.: Learning Object Review Instrument (LORI) User Manual. Disponible enwww.elera.net.10. Palmer K., Richardson, P. Learning Object Reusability – Motivation, Production and Use. En 11th InternationalConference of the Association for Learning Technology (ALT). University of Exeter, Devon, England, 14-16septiembre 2004.11. Sánchez-Alonso, S, Sicilia, M.A. Normative specifications of learning objects and processes. En InternationalJournal of Instructional Technology and Distance Learning, 2(3), 3-12. 2005.12. Sicilia, M. A. Reusabilidad y reutilización de objetos didácticos: mitos, realidades y posibilidades. RED. Revistade Educación a Distancia, número monográfico II, 2005. http://www.um.es/ead/red/M213. Vargo, J., Nesbit J.C., Belfer, K., Archambault A.: Learning Object Evaluation: Computer-MediatedCollaboration And Inter-Rater Reliability. En International Journal of Computers and Applications, Vol. 25, No.3, 2003.14. Wiley, D. A. Connecting learning objects to instructional design theory: A definition, a metaphor, and ataxonomy. 2000. En D. A. Wiley (Ed.), The Instructional Use of Learning Objects. Disponible en:http://reusability.org/read/chapters/wiley.doc15. Williams, D. Evaluation of learning objects and instruction using learning objects. Disponible en reusability.org.16. Yang, D, Yang, Q: Customizable Distance Learning: Criteria for Developing Learning Objects and LearningModel Templates. En Proceedings of the 7th international conference on Electronic commerce (ICEC’05), ACMInternational Conference Proceeding Series, Agosto, Xi’an, (China). ACM. (New York), 2005, pp. 765-770.