Definición de un marco genérico para la evaluación ... - Grupo Alarcos

Definición de un marco genérico para la evaluación de la
calidad en entornos Groupware
Calidad y Medición de Sistemas de Información
2008 - 2009
Sergio López Antonaya
9 de Enero de 2009

INDICE
1 – Introducción
1.1 - ¿Qué es el Groupware?
1.2 - Problemática de los Sistemas Groupware
1.3 - Objetivo 1: Desarrollo de modelos de apoyo para la construcción de Groupware
1.4 - Objetivo 2: Elaboración de métodos de evaluación para Groupware
1.5 - Definición de un marco genérico para la evaluación de la calidad en entornos
Groupware
2 – Estado del Arte
2.1 – El concepto de calidad
2.2 – La problemática de la evaluación de la calidad en los sistemas Groupware
2.3 – La Evaluación Heurística
2.4 – Las Mecánicas de la Colaboración
2.5 – Ocho desafíos para los desarrolladores de Groupware
2.6 – Otros aspecto s relevantes
2.7 – Un estándar para la evaluación de la calidad del software: ISO-9126
3 – Valoración y definición del marco de evaluación
3.1 – Matriz de relaciones entre autores e ISO-9126
3.2 – Definición del marco de evaluación
3.3 – Proposición de método de evaluación en base al marco definido
4 – Conclusiones y Trabajo Futuro
5 – Bibliografía
6 – Tendencias futuras

INTRODUCCIÓN
¿Qué es el Groupware?
Un sistema Groupware es un tipo concreto de software que permite a grupos de usuarios
con objetivos comunes, comunicarse, coordinarse y colaborar para llevar a cabo las actividades
en las que participan de forma colectiva, en busca de la consecución de dichos objetivos.
Estos sistemas han despertado un creciente interés en los últimos años debido, entre otros
factores, a los numerosos ámbitos en los que pueden ser aplicados y las recientes mejoras en el
hardware y en las prestaciones de las redes de computadoras que permiten llevar a cabo su
implementación y despliegue.
Problemática de los Sistemas Groupware
No obstante, existen dos aspectos estrechamente relacionados que impiden a las
numerosas aplicaciones desarrolladas, que abarcan un grupo muy diverso de actividades
colaborativas, llegar a conseguir demasiado éxito o abarcar comunidades de usuarios amplias.
Estos dos aspectos son la complejidad inherente asociada a la construcción de sistemas de este
tipo, que repercute en unos altos costes de desarrollo, y la ausencia de mecanismos de
evaluación del Groupware que permitan a las comunidades de desarrolladores aprender de las
experiencias previas y aplicar unos criterios fiables a la hora de implementar nuevos sistemas.
Estas dos problemáticas definen, por tanto, dos objetivos principales a superar para intentar
realizar progresos sustanciales en este campo de investigación.
Objetivo 1: Desarrollo de modelos de apoyo para la construcción de Groupware
Para superar el problema de la complejidad existente en los procesos de desarrollo de
Groupware, Chang, Zhang y Jiang [1] proponen la elaboración de modelos genéricos para el
trabajo colaborativo mediante arquitecturas o lenguajes formales que permitan describir
propiedades y condiciones de los sistemas, y el desarrollo de herramientas que generen las
aplicaciones software de forma automática partiendo de estas descripciones formales.

La plataforma ‘COMParte’ [2] se construye con esta finalidad, es decir, con la intención
de proporcionar un sistema de referencia para realizar especificaciones de alto nivel de
actividades colaborativas, generarlas y ejecutarlas dentro de un entorno unificado y en tiempo
real. Esta plataforma permite además, abstraer la complejidad de las partes más concretas de los
sistemas de comunicación e interacción subyacentes, y ofrecer un alto grado de mantenibilidad
y reusabilidad mediante la arquitectura diseñada para su implementación.
Objetivo 2: Elaboración de métodos de evaluación para el Groupware
Si bien ya existen herramientas, como la mencionada plataforma ‘COMParte’, que
ofrecen asistencia a la construcción de nuevos sistemas Groupware, es necesario que estos
nuevos sistemas satisfagan además, ciertos requisitos de calidad para convertirse en productos
de éxito. Para ello resulta imprescindible obtener técnicas de evaluación de la calidad de los
sistemas Groupware, de forma que los desarrolladores dispongan de criterios definidos sobre los
caminos a seguir para la construcción de nuevos sistemas con garantías de éxito, o para obtener
un conocimiento valido a partir de los errores cometidos con anterioridad.
No obstante, el desarrollo de modelos prácticos que permitan evaluar la calidad de este
tipo de sistemas es una tarea muy complicada, debido a aspectos que abarcan desde las
dinámicas de grupo, aspectos culturales y sociales o jerarquías y estructuras organizacionales
presentes en cualquier colectivo, hasta algunos de las conceptos más estrechamente ligados al
problema básico de la evaluación de calidad definidos por Gillies [3], como la interdependencia
de los atributos evaluados, por ejemplo.
Definición de un marco genérico para la evaluación de la calidad en entornos Groupware
El presente trabajo pretende establecer un marco de evaluación genérico para entornos
Groupware, tomando como referencia la plataforma ‘COMParte’, de forma que se puedan
evaluar los requisitos básicos de calidad que deben satisfacer las aplicaciones desarrolladas, así
como otros aspectos relacionados tales como el entorno de desarrollo o ejecución ofrecido. Para
ello se realizara un estudio bibliográfico que permita relacionar los resultados obtenidos por
algunos de los autores más relevantes en el campo de la evaluación del Groupware, y los
aspectos esenciales definidos en el estándar ‘ISO-9216’ [4].

ESTADO DEL ARTE
El concepto de Calidad
Existen numerosas definiciones para el concepto de calidad, si bien la que se toma como
referencia para el presente trabajo es la enunciada por el estándar ‘ISO-9000:2000’ [5]:
“Grado en el que un conjunto de características inherentes cumple con los requisitos”
De esta forma, todo proyecto software tiene como objetivo producir sistemas de la mejor
calidad posible, que cumplan con las necesidades de los usuarios e incluso superen sus
expectativas.
Sin embargo, como señala Minguet [6], a pesar de que la industria del software comparte
muchos puntos en común con la industria tradicional, y que la calidad debe ser impuesta en los
productos software mediante los requisitos que deben cumplir, estos presentan por su naturaleza
algunas particularidades que deben ser consideradas con especial atención, como el componente
creativo presente en el proceso de desarrollo o la subjetividad que implica la medición de ciertos
atributos para el software.
La problemática de la evaluación de la calidad en los sistemas Groupware
A día de hoy, numerosos investigadores consideran que la única forma efectiva de
evaluar los sistemas Groupware es mediante el estudio del uso que le puedan dar los usuarios
reales en un contexto concreto, lo cual se conoce como calidad en uso. Esta visión puede estar
propiciada por la ausencia de métodos de evaluación sólidos y aplicables bajo determinadas
restricciones de coste. Aunque los estudios de campo permiten realizar evaluaciones realistas,
pueden llegar a ser extremadamente caros y requerir de mucho tiempo para llevarse a cabo con
éxito. Por ello existen técnicas de inspección de sistemas para examinar la adecuación de las
aplicaciones en diferentes entornos y bajo diferentes condiciones de forma que se pueda
observar con que grado de éxito se adaptan las aplicaciones, sin necesidad de disponer de un
grupo extenso de usuarios o de grandes períodos de experimentación.

Cabe señalar que, históricamente, la mayoría de los trabajos realizados para definir
modelos de evaluación del Groupware se han centrado en aspectos muy concretos de este tipo
de software, especialmente en la usabilidad. De hecho, resulta difícil encontrar estudios que no
propongan métodos o técnicas excesivamente enfocados hacia aspectos muy especializados del
Groupware o de la interacción persona-computador, dejando de lado puntos notables que
deberían revisarse necesariamente en cualquier tipo de software.
La Evaluación Heurística
El primer antecedente se remonta a 1990, cuando Jakob Nielsen desarrolló el método de
‘Evaluación Heurística’ [7], un método para llevar a cabo evaluaciones rápidas, fáciles y
baratas para el diseño de las interfaces de usuario. De hecho, de los diferentes métodos de
inspección existentes, este es el más popular de cara a localizar problemas de usabilidad en el
diseño de las interfaces para el software tradicional mono-usuario.
El método de evaluación heurística no se debe considerar como una guía o metodología
estricta, sino como un conjunto de aspectos o consideraciones que es conveniente tener en
cuenta. Los principios fundamentales en los que se basa este método son las siguientes diez
heurísticas de usabilidad:
- N1 - Visibilidad del estado del sistema
- N2 - Correspondencia entre el sistema y el mundo real
- N3 - Libertad y control para el usuario
- N4 - Consistencia y estandarización
- N5 - Prevención de errores
- N6 - Apreciación sobre memorización
- N7 - Flexibilidad y eficiencia de uso
- N8 - Diseño minimalista y estético
- N9 - Soporte a los usuarios para reconocer, diagnosticar y recuperarse de los errores
- N10 - Ayuda y documentación
Figura 1 – Las diez heurísticas de Nielsen para el diseño de interfaces usables

Las Mecánicas de la Colaboración
El método de la ‘Evaluación Heurística”, y sus diez reglas generales, ha sido estudiado y
adaptado por otros autores para el caso concreto de la evaluación del Groupware. Una de las
adaptaciones más destacables es el marco de trabajo desarrollado por Baker, Greenberg y
Gutwin conocido como ‘Mechanics of Collaboration’ [8], elaborado con el objetivo de
identificar problemas específicos para las dinámicas de trabajo en grupo.
Este marco de trabajo ha sido aplicado en muy diversos estudios relacionados con el
Groupware, como por ejemplo: modelos de evaluación del rendimiento en espacios compartidos
de trabajo, desarrollo de nuevos sistema de comunicación para entornos colaborativos o análisis
de los efectos del ‘Awareness’ en aplicaciones distribuidas en tiempo real.
Al igual que el método de ‘Evaluación Heurística’, este marco de trabajo propone una
serie de reglas generales que sirvan de base a los procedimientos de evaluación. Las ocho reglas
heurísticas propuestas son las siguientes:
- G1 - Mecanismos adecuados para la comunicación verbal intencionada.
- G2 - Mecanismos adecuados para la comunicación gestual intencionada.
- G3 - Comunicación a partir del comportamiento corporal de los usuarios.
- G4 - Comunicación a partir del trabajo con elementos compartidos
- G5 - Proporcionar protección
- G6 - Manejo de las transiciones entre colaboraciones más y menos estrictas
- G7 - Soporte para la coordinación de las acciones
- G8 - Facilitar la búsqueda y el contacto con posibles colaboradores
Figura 2 – “Mechanics of Collaboration” de Baker, Greenberg y Gutwin
Estos mismos autores revisan la forma en que tradicionalmente se implementan las
anteriores heurísticas dentro de los sistemas Groupware y las ventajas e inconvenientes que
conllevan estas implementaciones [9].

Ocho desafíos para los desarrolladores de Groupware
Un enfoque algo más alejado de la búsqueda específica de métodos para llevar a cabo
evaluaciones, es el realizado por Jonathan Grudin [10], quien enumera algunos de los errores
más trascendentes detectados en los sistemas Groupware existentes y los retos a los que se
deben enfrentar los desarrolladores de Groupware para solventarlos.
Grudin indica que la mayor parte de estos errores no se deben a aspectos técnicos, sino a
la incomprensión de las restricciones y aspectos sociales implícitos en este tipo de sistemas,
relacionando de esta forma el software colaborativo con el estudio de las dinámicas sociales
[11], esto es, el cambio en las costumbres y las creencias de una sociedad analizado a través de
las interacciones de cada persona con el resto social y de la manera en que el conjunto afecta al
individuo, marcando un comportamiento de comunicación global de sujetos relacionados entre
sí.
De esta forma, Grudin llega a enumerar ocho objetivos o desafíos como metas esenciales
a superar por parte de la comunidad de estudio:
- Gr1 - Disparidad entre el trabajo y el beneficio
- Gr2 - Masa de usuarios crítica
- Gr3 - Interrupción de los procesos sociales
- Gr4 - Manejo de excepciones
- Gr5 - Accesibilidad discreta
- Gr6 - Dificultad de evaluación
- Gr7 - Fallos de intuición
- Gr8 - Procesos de adopción
Figura 3 – Los ocho desafíos para los desarrolladores de Groupware enunciados por Grudin
Es destacable, el hecho de que el mismo Grudin señala de forma explícita entre sus ocho
objetivos la dificultad de evaluación de estos sistemas o la dificultad de alcanzar una masa de
usuarios suficientemente amplia para lograr la estabilización del uso de este tipo de software. Y
si bien, esto no aporta una ayuda adicional en la búsqueda de características básicas que analizar
durante una evaluación, si pone de manifiesto, una vez más, la importancia de superar estos
problemas.

Otros aspectos relevantes
Es destacable que muchos de los anteriores aspectos señalados como punto de partida
para elaborar un marco de evaluación, o las problemáticas enumeradas, coinciden con las
conclusiones obtenidas por muchos otros autores. Así pues, Galli [12] señala algunos requisitos
fundamentales que un sistema Groupware debería cumplir: alta interactividad, volatilidad,
espontaneidad, concentración y uso de canales externos de comunicación. Eide [13] a su vez,
propone otra lista de problemas típicos a superar de cara al futuro desarrollo de sistemas
Groupware: administración de sesiones, control de acceso, comunicación entre usuarios,
administración de la información y control del espacio de trabajo.
Un estándar para la evaluación del software: ISO-9126
Dado que parte del objetivo de este trabajo consiste en buscar resultados contrastados en
el campo de la calidad software, es necesario revisar las características principales de un
estándar para la evaluación del software como la norma ‘ISO-9126’, la cual constituye un marco
genérico que permite a las organizaciones definir modelos de calidad para sus productos
software, de forma que cada organización debe especificar su propio modelo.
La norma ‘ISO-9126’ se compone de cuatro partes bien diferenciadas:
1 - Modelo de calidad: clasifica la calidad del software en un conjunto estructurado de
seis características principales compuesta a su vez por diferentes sub-características. Las
seis características principales y los aspectos a los que atienden, caracterizados como
preguntas, son las siguientes:
o Funcionalidad: ¿Las funciones y propiedades satisfacen las necesidades
explícitas e implícitas?
o Fiabilidad: ¿Puede mantener el nivel de rendimiento, bajo ciertas condiciones y
bajo cierto tiempo?
o Usabilidad: ¿El software es fácil de usar y de aprender?
o Eficiencia: ¿Es rápido y minimiza el uso de recursos?
o Mantenibilidad: ¿Es fácil de modificar y verificar?
o Portabilidad: ¿Es fácil emplear el software en cualquier entorno?

Las sub-características asociadas a cada una de las anteriores características
principales son las siguientes:
- I1 - Funcionalidad: Adecuación, Exactitud, Interoperabilidad, Seguridad de acceso,
Cumplimiento funcional y Conformidad.
- I2 - Fiabilidad: Madurez, Recuperabilidad, Tolerancia a fallos y Conformidad.
- I3 - Usabilidad: Aprendizaje, Comprensión, Operatividad y Conformidad.
- I4 - Eficiencia: Comportamiento en el tiempo, Comportamiento de recursos y
Conformidad.
- I5 - Mantenibilidad: Estabilidad, Facilidad de análisis, Facilidad de cambio,
Facilidad de pruebas y Conformidad.
- I6 - Portabilidad: Capacidad de instalación, Capacidad de reemplazamiento,
Adaptabilidad, Conformidad.
Figura 4 – Características y sub-características definidas por el estándar ISO-9126
Cada una de las anteriores sub-características puede ser divida a su vez en
atributos, esto es, entidades que pueden ser verificadas o medidas en el producto
software. Los atributos que se deben aplicar no se definen en el estándar ya que
pueden variar en función del tipo de producto software que se pretende evaluar.
2 – Métricas de calidad interna: medidas estáticas intrínsecas al producto, como
el código fuente.
3 - Métricas de calidad externa: medidas asociadas al comportamiento del
producto en ejecución.
4 - Métricas de calidad en uso: medidas observables durante la utilización
efectiva del producto por parte del usuario.
De forma ideal, el grado de calidad interna determina el grado de calidad
externa, y a su vez la el grado de calidad externa determina el grado de calidad en
uso.

VALORACIÓN Y DEFINICIÓN DEL MARCO DE EVALUACIÓN
A partir del estudio bibliográfico anterior y revisando los resultados obtenidos por los
diferentes autores, se puede identificar ciertos puntos coincidentes y aspectos comunes
analizando la idea que tiene cada uno de ellos sobre que debería evaluarse para determinar la
calidad de un producto Groupware.
De la misma forma, se pueden intuir ciertas relaciones entre estos estudios concretos con
las características principales de la norma ‘ISO-9126’, y extraer así los aspectos básicos que se
deban considerar a la hora de evaluar la calidad de un sistema Groupware general.
Matriz de relaciones entre autores e ISO-9126
Mediante la siguiente matriz se pretenden relacionar, de forma explícita, todos los
aspectos recopilados en el estudio anterior sobre el estado del arte de cara a la definición de de
unas características esenciales y concretos sobre las se pueda elaborar un marco genérico de
evaluación:
Figura 5 – Matriz de relaciones entre los resultados obtenidos por los autores más relevantes y la ISO-9126

Definición del marco de evaluación
El marco propuesto pretende seguir, de forma aproximada la filosofía de la norma ‘ISO-
9126’, es decir, proponer un conjunto de características principales, que representen un
concepto global más fundamental, divididas a su vez en una serie de sub-características que
definan una guía aproximada de los aspectos concretos que se deben analizar.
A – Grado de naturaleza colaborativa del sistema
Es fundamental evaluar la adecuación del sistema a las actividades colaborativas
para las que se lo supone desarrollado, algo señalado por la ‘ISO-9126’ en su
característica ‘Funcionalidad’. Algunos autores señalan que los tres elementos esenciales
que se deben proporcionar son mecanismos de comunicación, colaboración y
coordinación, por lo que se debe vigilar el soporte proporcionado por los entornos
construidos para llevar a cabo estos tres conjuntos de actividades generales. Además,
dado el carácter colectivo del Groupware se debe valorar la implementación de
mecanismos para la gestión de colectivos de usuarios tales como grupos, roles, permisos,
jerarquías o estructuras organizacionales y políticas de actuación. Otro aspecto muy
concreto de los sistemas Groupware que se debe considerar, es la conciencia que tienen
los usuarios sobre el contexto social en los que se encuentran inmersos, lo que se puede
definir como ‘Awareness Social’.
Las sub-características definidas para esta característica son por lo tanto:
A.1 – Deslocalización geográfica de los participantes
A.2 – Capacidades síncronas
A.3 – Capacidades asíncronas
A.4 – Definición de grupos de usuarios
A.5 – Definición de roles de usuarios
A.6 – Definición de permisos de usuarios y grupos
A.7 – Sistemas de comunicación entre usuarios
A.8 – Awareness social

B - Flexibilidad, libertad y control de uso
Un sistema colaborativo debe ser desarrollado desde la idea de proporcionar un
conjunto de herramientas que permitan a grupos de usuarios trabajar de forma eficiente
para alcanzar sus objetivos con éxito. Los usuarios deben ser conscientes de que el uso
del sistema mejora el proceso de trabajo y para ello deben poder realizar aportaciones al
trabajo de grupo con total libertad. Esta flexibilidad de uso debe verse apoyada por la
presencia de elementos que ayuden a reflejar las dinámicas de trabajo del mundo real,
pero también mediante diseños homogéneos, mecanismos de ayuda, asistentes para llevar
a cabo las tareas necesarias, y capacidad para la personalización y configuración del
entorno de forma individual.
Considerando que las herramientas construidas satisfacen los requisitos funcionales
esperados, es necesario dotarlas de flexibilidad y usabilidad altas que ayuden a mejorar
los procesos de adopción y consecuentemente alcanzar la masa de usuarios crítica,
aumentando además la eficiencia en las actividades de grupo realizadas tal y como el
software tradicional mejora las tareas realizadas de forma individual. Muchos de estos
aspectos concretos son especificados por la característica ‘Usabilidad’, definida dentro
del estándar ‘ISO-9126’.
Las sub-características resultantes son:
B.1 – Curva de aprendizaje
B.2 – Diversidad modos de interacción
B.3 – Navegación intuitiva
B.4 – Diseño consistente
B.5 – Libertad de configuración
B.6 – Capacidad de estructuración de las actividades
B.7 – Diversidad y adaptabilidad de las herramientas de trabajo
B.8 – Sencillez de instalación y despliegue

C - Gestión de elementos y espacios compartidos para el trabajo en grupo
El trabajo en grupo en un entorno colaborativo requiere que ciertos elementos del
sistema sean accesibles para todos los miembros a través de espacios compartidos. Los
sistemas deben contar con un mecanismo de control de acceso y gestión del estado de
dichos espacios eficaz, de forma que las actividades se desarrollen con fluidez y nadie
pueda interrumpir el proceso de trabajo llevado a cabo por otros usuarios.
Además se debe facilitar la obtención de información sobre aspectos relacionados
con los elementos compartidos existentes sobre los que se trabaja como, por ejemplo, las
modificaciones que han sido realizadas sobre los mismos o quien tiene control sobre un
elemento concreto en un momento dado, lo cual se puede definir como ‘Awareness de
Actividad’.
De la misma forma, para ayudar a los usuarios a trabajar con elementos
compartidos, los mecanismos implementados deberían basarse en interfaces adaptadas al
trabajo en grupo de modo que se consiga un uso intuitivo y ágil del sistema, pero
tomando como referencia el software tradicional, evitando introducir nuevos conceptos de
interacción persona-computador que añadan una complejidad adicional al uso de este tipo
de sistemas.
Las sub-características definidas para esta característica son:
C.1 – Definición de espacios y herramientas para el trabajo compartido
C.2 – Capacidad de manipulación de los elementos compartidos
C.3 – Asistencia a las transiciones en el modo de trabajo
C.4 – Capacidad de trabajo concurrente sobre elementos compartidos
C.5 – Awareness de actividad

D - Prevención, protección, diagnóstico y recuperación de errores
La propia naturaleza de las actividades colaborativas convierte a los sistemas
Groupware en sistemas más propensos a la aparición de errores que en el software mono-
usuario tradicional. Además de la complejidad inherente a las funcionalidades ofrecidas
por estos sistemas, deben añadirse dificultades específicas como el control de
concurrencia, la tolerabilidad a fallos en las comunicaciones o incluso las propias
acciones incorrectas realizadas por los usuarios. Por ello es esencial que el Groupware sea
capaz de prevenir y proteger el estado del sistema de posibles fallos, diagnosticar y
ofrecer a los usuarios información relevante sobre errores surgidos y proporcionar
mecanismos de recuperación de dichos errores o instrucciones para que los usuarios sean
capaces de solventarlos.
En los sistemas colaborativos, debido a su naturaleza distribuida, se debe prestar
especial atención al uso eficiente de los sistemas de comunicación empleados, evitando
ralentizaciones del sistema o fallos que provoquen inestabilidades en el estado de las
actividades realizadas. Estos aspectos se encuentran relacionados con las características
‘Fiabilidad’ y ‘Eficiencia’ definidas en la ‘ISO-9126’.
Las sub-características resultantes para esta característica son:
D.1 – Asistencia para la realización de tareas
D.2 – Protección de accesos no autorizados
D.3 – Protección de los espacios compartidos
D.4 – Estabilidad global
D.5 – Estabilidad localizada
D.6 – Información acerca de los errores
D.7 – Mecanismos de recuperación del sistema
D.8 – Rendimiento independiente de la masa de usuarios
D.9 – Rendimiento independiente de la localización

E - Mantenibilidad del sistema
Tal y como se señalo en la introducción, la construcción de un sistema colaborativo
es una tarea costosa que requiere gran esfuerzo. Se marca como objetivo, por tanto, el
desarrollo herramientas genéricas que asistan a la construcción de estos nuevos sistemas,
como es el caso de la plataforma COMParte. Sin embargo, también se debe analizar que
las arquitecturas empleadas a la hora de realizar la implementación de estos sistemas sean
flexibles y sencillas de modificar, de cara a revisiones del mismo en posteriores
operaciones de mantenimiento preventivo, correctivo o evolutivo, tal y como se
desprende de la característica de ‘Mantenibilidad’ de la ‘ISO-9126’. Además, los sistemas
implementados deben presentar una estructura altamente modular para evitar la intrusión
en múltiples partes del sistema durante las acciones de mantenimiento necesarias.
Finalmente, el uso de tecnologías estándares en los sistemas y la elaboración de
documentaciones completas y detalladas, ayudan a la comprensión del funcionamiento
del sistema y estructura del sistema, y pueden mejorar notablemente, y más aun en el caso
del Groupware, las labores de análisis previas a las posibles modificaciones a realizar.
Las sub-características definidas para la característica son:
E.1 – Comprensibilidad del sistema
E.2 – Arquitectura del sistema
E.3 – Metodología de desarrollo empleada
E.4 – Sistemas de comunicaciones basados en estándares
E.5 – Trazabilidad del sistema
E.6 – Facilidad de cambio y ampliación del sistema

Proposición de método de evaluación en base al marco definido
El marco elaborado constituye un marco genérico de alto nivel para orientar las
evaluaciones que se pueden realizar a sistemas Groupware. Una de estas orientaciones se podría
basar en la cumplimentación de cuestionarios durante la inspección metódica del sistema.
Por ello, a continuación se proponen, a modo de ejemplo, algunas preguntas ilustrativas
que se podrían realizar mediante una evaluación de este tipo a un entorno colaborativo como la
plataforma COMParte.
A – NATURALEZA COLABORATIVA DEL SISTEMA
A.1 – Deslocalización geográfica de los participantes: ¿Se pueden llevar a cabo actividades
entre usuarios geográficamente dispersos?
A.2 – Capacidades síncronas: ¿Las actividades colaborativas desarrolladas pueden ser de
carácter síncrono?
A.3 – Capacidades asíncronas: ¿Las actividades colaborativas desarrolladas pueden ser de
carácter asíncrono?
A.4 – Definición de grupos de usuarios: ¿La plataforma permite crear de grupos de usuarios?
A.5 – Definición de roles de usuarios: ¿La plataforma permite definir y aplicar roles de usuario?
A.6 – Definición de permisos de usuarios y grupos: ¿La plataforma permite definir y aplicar
permisos de usuario o grupo?
A.7 – Sistemas de comunicación entre usuarios: ¿Existen mecanismos apropiados para llevar a
cabo la comunicación verbal entre los diferentes participantes?
A.8 – Awareness social: ¿La plataforma permite obtener información sobre quien se encuentra
presente en un momento dado dentro del sistema?

B – FLEXIBILIDAD, LIBERTAD Y CONTROL DE USO
B.1 – Curva de aprendizaje: ¿El uso de la plataforma requiere conocimientos avanzados o
específicos por parte de los usuarios?
B.2 – Diversidad de modos de interacción: ¿La plataforma ofrece varias alternativas de
interacción persona-computador mediante los dispositivos y técnicas más comunes: teclados,
ratones...?
B.3 – Navegación intuitiva: ¿El tránsito por las diferentes secciones de la plataforma es intuitiva
y ágil?
B.4 – Diseño consistente: ¿Las interfaces de todas y cada una de las secciones de la plataforma
mantienen un diseño homogéneo?
B.5 – Libertad de configuración: ¿El aspecto y estructura de la plataforma es configurable y
adaptable según las necesidades del usuario?
B.6 – Capacidad de estructuración de las actividades: ¿Es sencillo definir las tareas que debe
realizar cada participante de una actividad colectiva?
B.7 – Diversidad y adaptabilidad de las herramientas de trabajo: ¿Los usuarios disponen de las
herramientas necesarias para llevar a cabo sus tareas de cara a la satisfacción de los objetivos
colectivos?
B.8 – Sencillez de instalación y despliegue: ¿La plataforma es ejecutable en un número elevado
de sistemas operativos sin modificaciones adicionales?

C – GESTION DE ESPACIOS Y ELEMENTOS COMPARTIDOS PARA EL TRABAJO
EN GRUPO
C.1 – Existencia de espacios y herramientas para el trabajo compartido: ¿La plataforma
proporciona espacios compartidos de trabajo?
C.2 – Capacidad de manipulación de los elemento compartidos: ¿Los elementos compartidos
que se pueden emplear en la plataforma son ampliamente manipulables: creación, modificación,
eliminación, copia…?
C.3 – Asistencia a las transiciones en el modo de trabajo: ¿La plataforma gestiona de forma
correcta las transiciones que se realizan entre tareas realizadas en espacios de trabajo
individuales y espacios de trabajo compartidos?
C.4 – Capacidad de trabajo concurrente sobre los elementos compartidos: ¿La plataforma
permite el acceso de los usuarios a los elementos compartidos de forma concurrente?
C.5 – Awareness de actividad: ¿Se puede conocer en tiempo real el estado de un elemento
compartido concreto dentro del espacio compartido de trabajo?

D – PREVENCION, PROTECCION, DIAGNOSTICO Y RECUPERACION DE ERRORES
D.1 – Asistencia a la realización de tareas: ¿Se muestran mensajes de aviso siempre que un
usuario se disponga a realizar una acción crítica para las actividades colectivas?
D.2 – Protección de accesos no autorizados: ¿Se proporcionan mecanismos para proteger los
espacios de trabajo individuales del resto de participantes?
D.3 – Protección de los espacios compartidos: ¿Se proporcionan mecanismos para proteger los
espacios de trabajo compartidos de intervenciones?
D.4 – Estabilidad global: ¿La plataforma no termina su ejecución de forma abrupta nunca?
D.5 – Estabilidad localizada: ¿Los errores surgidos durante el uso de la plataforma no afectan a
las actividades de comunicación o de trabajo?
D.6 – Información acerca de los errores: ¿Los errores surgidos durante el uso de la plataforma
son notificados aportando información relevante sobre su naturaleza y posible solución?
D.7 – Mecanismos de recuperación del sistema: ¿Existen mecanismos para recuperar el estado
del sistema tras fallos críticos?
D.8 – Rendimiento independiente de la masa de usuarios: ¿El rendimiento del sistema es
satisfactorio independientemente del número de usuarios que participen de forma concurrente?
D.9 – Rendimiento independiente de la localización: ¿El rendimiento del sistema es satisfactorio
independientemente de la situación geográfica de los participantes?

E – MANTENIBILIDAD DEL SISTEMA
E.1 – Comprensibilidad del sistema: ¿El software es comprensible y dispone de una
documentación clara para su análisis en fases de mantenimiento?
E.2 – Arquitectura del sistema: ¿El diseño de la plataforma responde a principios
arquitectónicos bien definidos?
E.3 – Metodología de desarrollo empleada: ¿La codificación de la plataforma se ha realizado en
base a alguna metodología concreta y apropiada?
E.4 – Sistema de comunicaciones basado en estándares: ¿El sistema de comunicaciones del
sistema se ha implementado usando tecnologías estándar?
E.5 – Trazabilidad del sistema: ¿Cualquier acción realizada por un usuario es trazable en el
código fuente desde su inicio hasta su fin?
E.6 – Facilidad de cambio y ampliación del sistema: ¿Las funcionalidades del sistema se
clasifican y agrupan en módulos diferenciados?

CONCLUSIONES Y TRABAJO FUTURO
El marco propuesto en el presente trabajo, constituye un primer punto de partida para el
desarrollo de un modelo de evaluación más completo. Es por ello que surgen diversos caminos
de trabajo futuro a partir de los resultados obtenidos.
son:
Sin embargo, las principales tareas que surgen de forma natural a partir de este punto
- Evaluación de la calidad de una muestra representativa de entornos colaborativos y
aplicaciones Groupware, mediante la realización de inspecciones metódicas y la
elaboración de encuestas basadas en el marco propuesto.
- Análisis posterior de los resultados obtenidos para validar el marco propuesto y
realizar las modificaciones que fueran necesarias. De esta forma, se podrán conocer de
forma más aproximada las necesidades reales requeridas para llevar a cabo
evaluaciones efectivas de la calidad del Groupware, evitando considerar como
definitivos los resultados obtenidos en el presente trabajo o las consideraciones
realizadas por los autores tomados como referencia.
- Definición de atributos y métricas concretas para realizar evaluaciones cuantitativas de
las diferentes características definidas y sub-características definidas y ampliar la
capacidad de elaboración de modelos que proporciona el marco.

BIBLIOGRAFÍA
[1] - Chang, C. K., Zhang, J., Jiang, T. M.: “Formalization of computer supported Cooperative
work applications”. Proceedings of the 8th IEEE Workshop on Future Trends of Distributed
Computing Systems. (2001)
[2] – Antonaya, S. L., Bravo, C.: “COMParte: Plataforma para la especificación y ejecución de
aplicaciones colaborativas en tiempo real”. Proyecto fin de carrera - UCLM. (2008)
[3] – Gillies, A.: “Software quality: theory and management”. Chapman & Hall Ltd. (1992)
[4] – International Organization for Standardization: “ISO 9126”. (2001)
[5] – International Organization for Standardization: “ISO 9000”. (2000)
[6] – Minguet, J. M., Hernández, J.F.: “La calidad del software y su medida”. (2003)
[7] – Nielsen, J.: “Heuristic evaluation”. John Wiley & Sons. (1994)
[8] – Gutwin, C., Greenberg, S.: "The Mechanics of Collaboration: developing low cost
usability evaluation methods for shared workspaces”. (2000)
[9] –Baker, K., Greenberg, S., & Gutwin, C.: “Heuristic evaluation of Groupware based on the
Mechanics of Collaboration”. Proceedings of the 8th IFIP Working Conference on Engineering
for Human-Computer Interaction (EHCI'01). (2001)
[10] – Grudin, J.: “Groupware and Social Dynamics: Eight challenges for developers”. (1994)
[11] – Wikipedia: “Dinámica social”. http://es.wikipedia.org/wiki/Dinámica_social. (2008)
[12] – Galli, R.: “Data consistency for collaborative 3D editing”. Tesís Doctoral - Universitat
Illes Balears. (2000)
[13] – Eide, E., Lepreau, J., Simister, J. L.: “Flexible and optimized IDL compilation for
distributed applications”. Conference on programming language design and implementation.
(1997)
[14] - Rodríguez, M., Noguera, M., Hornos, M., Paderewski, Garrido, J.L.: “Hacia la
satisfacción de requisitos de calidad de los sistemas colaborativos mediante un diseño
arquitectónico”. (2005)