Interazione naturale e tavoli interattivi per la gestione di strutture ...

UNIVERSITÀ DEGLI STUDI DI FIRENZE
FACOLTÀ DI INGEGNERIA – DIPARTIMENTO DI SISTEMI E INFORMATICA
_______________________
Tesi di Dottorato in
Ingegneria Informatica Multimedialità e Telecomunicazioni
ING-INF/05
INTERAZIONE NATURALE E TAVOLI INTERATTIVI
PER LA GESTIONE DI STRUTTURE COGNITIVE VISUALI
Candidato
Stefano Baraldi
_______________________
Tutor
Prof. Alberto Del Bimbo
Coordinatore
Prof. Giacomo Bucci
PERIODO ACCADEMICO 2006/2008 – XXI CICLO

A tutti coloro che cercano, ogni giorno,
di comunicare meglio con il prossimo
e di migliorare se stessi.
Bologna, 30 dicembre 2008

Indice
1 Introduzione ................................................................................................. 1
2 Spazi, Gruppi e Collaborazione ............................................................... 5
2.1 Computer-Supported Cooperative Work ............................................. 7
2.1.1 Differenti tipi di Lavoro Collaborativo ..................................................... 8
2.1.2 Consapevolezza e Coordinazione.......................................................... 10
2.2 CSCW nello Spazio Condiviso ........................................................... 13
2.2.1 Supportare l’esperienza condivisa ......................................................... 15
2.2.1.1 Integrare la tecnologia negli ambienti ........................................ 17
2.2.2 Arricchire l’esperienza condivisa .......................................................... 19
2.2.2.1 Interfacce Condivise ................................................................ 20
2.3 Visualizzare la Conoscenza ................................................................. 23
2.3.1 Differenze tra Informazione e Conoscenza ............................................ 25
2.3.2 Tipi di Conoscenza .............................................................................. 26
2.3.3 Linguaggi Visuali per la Conoscenza .................................................... 27
2.3.3.1 Bozzetti Euristici ..................................................................... 27
2.3.3.2 Diagrammi Concettuali ............................................................ 28
2.3.3.3 Metafore Visuali ...................................................................... 29
2.3.3.4 InfoVisual ............................................................................... 30
2.3.3.5 Mappe di Conoscenza .............................................................. 31
2.4 Contesti interattivi per la Conoscenza................................................ 33
2.4.1 Parallelismo con il l modello Wiki ........................................................ 34
2.4.1.1 Identità e democrazia ............................................................... 34
2.4.1.2 Informazione centrata sull’Argomento ...................................... 36
2.4.1.3 Versionamento ........................................................................ 37
3 Interazione Naturale ................................................................................ 39
3.1 Sensing ................................................................................................... 43

3.2 Interfaccia e Presentazione .................................................................. 47
3.3 Superfici Interattive .............................................................................. 51
3.3.1 Evoluzione delle Superfici Interattive.................................................... 52
3.3.2 Efficienza vs Collaborazione ................................................................ 58
3.4 Interfacce Tangibili............................................................................... 63
3.5 Interactive Furniture ............................................................................. 67
3.5.1 Lavagne Interattive .............................................................................. 67
3.5.2 Muri e Pannelli .................................................................................... 69
3.5.3 Tavoli Interattivi.................................................................................. 71
3.5.4 Oggetti Intelligenti............................................................................... 73
4 Framework e Piattaforme di interazione realizzate.......................... 75
4.1 Tabletop Interaction Framework......................................................... 79
4.1.1 Visualizzazione ................................................................................... 81
4.1.2 Rilevazione ......................................................................................... 81
4.1.3 Feedback............................................................................................. 82
4.1.4 Mapping ............................................................................................. 83
4.1.5 Simulacro............................................................................................ 84
4.1.6 Manipolazione..................................................................................... 86
4.2 La piattaforma FingerSensing ............................................................. 89
4.2.1 FingerSensing versione 2 ..................................................................... 91
4.2.2 Risultati e Miglioramenti...................................................................... 94
4.3 La piattaforma TabulaTouch ............................................................... 95
4.3.1 Principio di funzionamento .................................................................. 95
4.3.1.1 FTIR ....................................................................................... 96
4.3.2 Implementazione fisica del prototipo..................................................... 98
4.3.2.1 La superficie sensibile ............................................................ 100
4.3.2.2 Telecamera IR ....................................................................... 101
4.3.2.3 Proiezione digitale ................................................................. 102

4.3.3 Implementazione del Sensing ............................................................. 103
4.3.3.1 Calibrazione .......................................................................... 103
4.3.3.2 Algoritmo di riconoscimento del contatto ................................ 104
4.3.3.3 Tracking................................................................................ 106
4.3.4 Interfaccia ......................................................................................... 107
4.3.4.1 Distribuzione degli eventi di input........................................... 108
4.3.4.2 Roto traslazione dei contenuti ................................................. 110
4.3.4.3 Inerzia................................................................................... 112
4.4 TANGerINE ........................................................................................ 115
4.4.1 SMCube: L’oggetto tangibile intelligente ............................................ 116
4.4.1.1 Architettura dei sensori .......................................................... 117
4.4.1.2 Riconoscimento delle facce e stati di quiete ............................. 118
4.4.1.3 Riconoscimento dei gesti ........................................................ 119
4.4.1.4 Trasmissione Wireless............................................................ 124
4.4.1.4 Attuatori................................................................................ 125
4.4.2 Identificazione e Tracking degli SMCube............................................ 126
4.4.2.1 La matrice visuale .................................................................. 128
4.4.2.2 Primo algoritmo di identificazione .......................................... 129
4.4.2.3 Secondo algoritmo di identificazione....................................... 131
4.4.2.4 Tracking dei cubi ................................................................... 132
4.4.3 Interazione multi-contesto .................................................................. 134
4.4.3.4 Tracking dei cubi tra i contesti ................................................ 137
5 Applicazioni Realizzate.......................................................................... 141
5.1 Cognitive Desktop .............................................................................. 143
5.1.1 Force Directed Graphs ....................................................................... 145
5.2 tabulaGraph ......................................................................................... 149
5.2.1 Linguaggio di interazione................................................................... 149
5.2.2 Contesto, Contenuti e Livelli .............................................................. 154
5.3 Tangerine Tales ................................................................................... 157

5.3.1 Fasi dell’applicazione.......................................................................... 159
5.3.2 Stato dell’arte .................................................................................... 165
6 Conclusioni ............................................................................................... 167
Bibliografia .................................................................................................. 171

Indice delle Figure
Figura 1 Scenari Collaborativi ................................................................................. 9
Figura 2 Interfaccia orientata all’Esperienza ....................................................... 16
Figura 3. Esempi di bozzetti euristici (sketches) ................................................ 28
Figura 4. Esempio di diagramma concettuale ..................................................... 29
Figura 5. Esempio di metafora visuale ................................................................. 30
Figura 6. Esempio di animazione di conoscenza (InfoVisual)......................... 31
Figura 7. Esempio di mappa di conoscenza, metafora della metro -map. ....... 32
Figura 8. Primi prototipi di dispositivo multi-tocco........................................... 52
Figura 9. DigitalDesk (sinistra) e ActiveDesk (destra)...................................... 53
Figura 10. MetaDesk di Ullmer e Ishii ................................................................. 53
Figura 11. Il dispositivo DiamondTouch capace di rilevare l’identità............ 54
Figura 12. ReacTable per la composizione musicale collaborativa ................ 55
Figura 13. MagicBoard, una dei primi progetti per il supporto alla creatività
di gruppo.................................................................................................................... 56
Figura 14. Multi-touch wall di Jeff Han ............................................................... 56
Figura 15. I prodotti multi-touch di Apple (iPhone) e Microsoft (Surface)... 58
Figura 16. Il Soroban, design orientato all’efficienza........................................ 59
Figura 17. Raggruppamento delle superfici interattive sui criteri
dell’efficienza ed orientamento alla collaborazione........................................... 61
Figura 18. Muri Interattivi basati su modalità touchless (alto) e puntamento
(basso) ........................................................................................................................ 70
Figura 19. Tavolo InterattivoPhilips Entertaible ................................................ 72
Figura 20. Superficie di sensing e visualizzazione disaccoppiate. .................. 73
Figura 21. Il sistema TViews con oggetti intelligenti usati sulla superficie
interattiva ................................................................................................................... 74
Figura 22. Il modello MCRpd per l’interazione tangibile ................................. 79
Figura 23. wikiWall, prima applicazione facente uso di computer vision
percreare l’interattività sulla superficie del tavolo. ............................................ 89
Figura 24. Foreground mask ed applicazione di FingerSensing v1................. 91
Figura 25. Modello della mano per l’algoritmo FingerSensing v2.................. 92
Figura 26. Validazione per mani con un singolo dito esteso. ........................... 93
Figura 27. Tassi di successo di FingerSensing v2 .............................................. 94
Figura 28. Principio di funzionamento di tabulaTouch ..................................... 96
Figura 29. Angolo critico ed indici di rifrazione per FTIR............................... 96
Figura 30. Fenomeno FTIR al contatto delle dita con la lastra di.................... 98
Figura 31. Percorsi ottici......................................................................................... 99

Figura 32. Telecamera con filtro infrarossi applicato. .....................................102
Figura 33. Dispatching degli eventi di contatto agli oggetti attivi. ................109
Figura 34. Roto-traslazione degli oggetti tramite punti di controllo. ............111
Figura 35. Interfaccia finale di tabulaTouch con feedback dei punti di
contatto con la superficie sensibile......................................................................112
Figura 36. Esterno ed interno del SMCube ........................................................117
Figura 37. Manipolazione del cubo sul tavolo e nella zona limitrofa. ..........120
Figura 38. TANGerINE in setup Top con telecamera e proiettore sul soffitto.
...................................................................................................................................128
Figura 39. Matrice geometrica LED per riconoscimento visuale ..................129
Figura 40. Camera buffer per algoritmo versione 1 di TANGerINE. ...........131
Figura 41. Stima della lancetta nella seconda versione dell’algoritmo. ........132
Figura 42. Setup bottom di TANGerINE, migliore per il tracking dei cubi. 133
Figura 43. Fenomeno di blurring su movimenti veloci....................................134
Figura 44. Fotodella SmartRoom dalla telecamera di contesto ......................135
Figura 45. Modellazione delle diverse Aree interattive...................................135
Figura 46. Cubo come trasportatore di informazioni tra due contesti. ..........137
Figura 47. Meccanis mo di prossimità tramite RSSI bluetooth.......................138
Figura 48. Tag fiduciale, codice a barre bidimensionale.................................143
Figura 49. CognitiveDesktop, interazione tra oggetti fisici e digitali. ..........144
Figura 50. Modello Spring-Mass per grafo auto-adattante ............................146
Figura 51. TabulaGraph, creazione di un concetto ...........................................150
Figura 52. TabulaGraph, creazione di una relazione........................................151
Figura 53. TabulaGraph, scelta di elementi multimediali ...............................152
Figura 54. TabulaGraph, scelta dei concetti. .....................................................152
Figura 55. TabulaGraph, layout auto-organizzante tramite FDG. .................153
Figura 56. Il paradigma Contesto, Contenuti e Livelli.....................................156
Figura 57. TangerineTales, sfondo e personaggi animati................................159
Figura 58. TangerineTales, posizionamento automatico dei personaggi
rispetto al cubo del bambino attivo. ....................................................................159
Figura 59. TangerineTales, fase 1: scelta dello scenario. ................................161
Figura 60. TangerineTales, fase 2: scelta del personaggio..............................161
Figura 61. TangerineTales, fase 3: scelta dello stato emotivo........................162
Figura 62. TangerineTales, fase 4: spostamento personaggio. .......................163
Figura 63. TangerineTales, fase 5: registrazione dell’episodio......................164
Figura 64. TangerineTales, nuovo ciclo: scambio dei ruoli e scelta nuovo
personaggio. ............................................................................................................164
Figura 65. TangerineTales, interfaccia di test. ..................................................165
Figura 66. TangerineTales, setup compatto e portatile. ...................................166

Capitolo 1
Introduzione
L’obiettivo della tecnologia è quello di risolvere i problemi
dell’essere umano e supportarne le abilità in modo che egli possa
essere più efficace ed efficiente. In questi ultimi anni però,
l’aspetto tipicamente utilitaristico della tecnologia è stato affian-
cato, ed in alcuni casi largamente superato, da quello estetico.
Ciò che può sembrare un indebolimento dell’obiettivo iniziale, è
invece interpretabile come una crescente esigenza da parte
dell’utente di tecnologia, di sentirsi parte di un esperienza più
globale. Questo significa anche sentirsi maggiormente rispettato
nella propria dimensione umana, non solo fisica ed ergonomica,
ma anche emotiva e mentale. L’innovazione tecnologica procede
oggi tenendo fortemente conto delle esigenze dell’utilizzatore
moderno, e lo fa insistendo sull’aspetto esteriore, e sulle modali-
tà di interazione.
Alcune attività in particolare necessitano di una tecnologia il
più trasparente possibile, sono quelle sociali, che mediano la
comunicazione umana nella sua forma più essenziale. Il condivi-
dere progetti, idee, opinioni e pensieri, in ogni luogo e condizio-
ne diviene sempre più determinante per raggiungere gli obiettivi.
Le attività di collaborazione mediate dalla tecnologia trovano
quindi un contesto sfidante per l’applicazione di nuovi paradigmi
di interazione tra l’uomo ed i dispositivi.
Questo lavoro di ricerca nasce dalla volontà di fornire nuovi
strumenti ai gruppi di lavoro co-locato in grado di supportarne il
INTRODUZIONE 1

processo creativo di condivisione della conoscenza. Il fine è rag-
giungere prima e meglio l’obiettivo comune, e nel processo con-
servare la naturalezza e la spontaneità della comunicazione uma-
na.
A questo proposito, le piattaforme interattive progettate e realiz-
zate, seguono i temi dell’Interazione Naturale come linguaggio
semplice e diretto per mettere in comunicazione Persone, Luoghi
e Dispositivi.
Il presente elaborato prende in esame come prima tematica la
collaborazione tra umani (sez. 2), definendo i diversi scenari nei
quali essa può avvenire, unitamente agli argomenti della coordi-
nazione e della consapevolezza comune che sono necessari per la
buona riuscita di ogni lavoro di gruppo. Dopo aver introdotto le
varie categorie di strumenti per il lavoro condiviso supportato
dalla tecnologia (CSCW) l’esposizione procede introducendo le
tecniche di Visualizzazione della Conoscenza (sez. 2.3) come e-
lemento cardine di tutto il lavoro. Attraverso la rappresentazione
astratta e metaforica di idee e concetti, è possibile ridurre la
complessità dei problemi e quindi trovare uno spazio più libero
per la comunicazione ovvero: l’azione comune di più individui
orientati verso la comprensione reciproca ed uno scopo condivi-
so.
Le tematiche dell’Interazione Naturale sono descritte in se-
zione 3. Tale framework, grazie alle proprie linee guida, costitui-
sce il secondo elemento in grado di assicurare che i dispositivi e
le interfacce realizzate siano effettivamente vicini alla natura
umana, trasparenti e potenzianti. A tale riguardo vengono intro-
dotti i tavoli interattivi e gli oggetti intelligenti come dispositivi
adatti alle attività collaborative (sez. 3.3 e 3.4) per la loro nota
2 INTRODUZIONE

ergonomia e per l’utilizzo giornaliero che ne viene fatto negli
ambienti di lavoro.
L’esposizione continua illustrando le piattaforme interattive
realizzate nell’ambito del Dottorato di Ricerca: il tavolo multi-
tocco e multi-utente tabulaTouch (sez. 4.1), e la superficie ad in-
terazione tangibile basata su oggetti intelligenti TANGerINE
(sez. 4.2). Grazie all’ingegnerizzazione di questi strumenti, en-
trambi facenti uso di tecniche computer vision e sensor fusion, è
stato possibile realizzare dei prototipi di applicazioni per la ge-
stione di strutture cognitive visuali (sez. 5), utilizzando sia
mappe concettuali come paradigma generale per la rappresenta-
zione di conoscenza (CognitiveDesktop e tabulaGraph), sia me-
tafore più dirette e giocose per la costruzione di forme narrative
multimediali (Tangerine Tales).
L’elaborato si conclude con le osservazioni che l’autore ha
potuto raccogliere sugli utenti delle applicazioni precedentemen-
te elencate, e che in larga parte confermano l’efficacia
dell‟Interazione Naturale applicata allo scenario in esame.
INTRODUZIONE 3

Capitolo 2
Spazi, Gruppi e
Collaborazione
Le attività che gli esseri umani perseguono per il raggiungi-
mento di uno scopo comune e condiviso sono caratterizzate da
un’organizzazione su diversi livelli sia del lavoro da svolgere sia
dei metodi di comunicazione tra chi partecipa al processo. Que-
sto secondo aspetto, la comunicazione, è particolarmente impor-
tante nelle attività che hanno una forte caratterizzazione cogniti-
va, e che quindi vedono l’essere umano come un “elaboratore di
informazioni ed esecutore di compiti” unitamente con le sue ca-
pacità di apprendere e di trasferire conoscenze (Legrenzi, 2002).
Le condizioni per creare, condividere e trasferire la cono-
scenza necessaria ad un certo scopo, sono fortemente influenzate
dal mezzo che si utilizza per comunicare, e anche dal luogo in cui
questa comunicazione avviene. Se tradizionalmente, prima
dell’era dell’Informazione, il lavoro veniva largamente gestito
tramite un’interazione diretta tra le persone, soprattutto verbale
ed all’interno di un luogo fisico specifico e condiviso, ora la va-
rietà, l’efficienza e la velocità dei nuovi mezzi di comunicazione
tecnologici hanno cambiato enormemente questo scenario, ab-
battendo i “muri” degli ambienti di lavoro.
L’esigenza di una maggior velocità ed efficienza nelle attivi-
tà lavorative, necessaria per stare al passo con le nuove dinami-
che del business è stata alla base dell’interesse sempre più cre-
scente verso le nuove tecnologie di social networking (come i
weblog, o le comunità online per la creazione di conoscenza co-
SPAZI, GRUPPI, COLLABORAZIONE 5

mune) che oggi stanno divenendo parte integrante della quoti-
dianità sia lavorativa che privata. Anche il mobile-computing e la
possibilità di ricevere ed elaborare informazioni mentre si è in
movimento (addirittura location-aware, ovvero contestualizzate
al territorio sul quale si sta transitando) hanno aiutato a cambiare
i concetti di luogo e tempo collegati alle attività lavorative. Tutto
questo ha contribuito al graduale spostamento dalla tipica intera-
zione in cui un utente singolo è in relazione solamente con il
proprio Personal Computer verso una situazione in cui ogni uten-
te interagisce con una moltitudine di sistemi e di altri utenti.
Questo cambiamento ha richiesto l’introduzione di una nuova di-
sciplina per studiare la relazione tra le persone, i luoghi ed i di-
spositivi tecnologici utilizzati per la collaborazione, denominata
Computer-Supported Cooperative Work.
6 SPAZI, GRUPPI, COLLABORAZIONE

2.1 Computer-Supported Cooperative Work
Il Computer-Supported Cooperative Work (CSCW) è
un’area di ricerca della Human-Computer Interaction che si oc-
cupa di come le attività collaborative e la loro coordinazione
possano essere effettivamente supportate tramite sistemi infor-
matici. Non esiste ancora una definizione considerata ufficiale
per il CSCW, disciplina nata negli anni 80, partendo da un
workshop del 1984 tenuto da Irene Grief e Paul Cashman, dove
il termine fu coniato. Lo scopo del workshop era creare
un’occasione per permettere a ricercatori di diversi campi, che
condividevano l’interesse comune nello studio della tecnologia
applicata alle attività umane, di incontrarsi e condividere espe-
rienze.
Il termine groupware fu anch’esso coniato in una delle prime
conferenze specifiche per il CSCW nel 1986, per indicare una
serie di caratteristiche e linee guida che contraddistinguessero il
particolare software creato per supportare la collaborazione di
gruppi di persone. Fin dalle prime conferenze il CSCW divenne
un campo di studio capace di interessare differenti discipline di
ricerca come la sociologia, l’antropologia, la psicologia, la teoria
dell’organizzazione, le scienze cognitive e chiaramente anche
l’informatica. Il particolare carattere interdisciplinare permise di
collegare in maniere nuove saperi normalmente molto distanti tra
loro, ma divenne anche la causa di confusione nei termini che
definiscono i concetti fondamentali della materia, per questo mo-
tivo esistono ora diverse tradizioni nelle differenti comunità di
ricerca.
SPAZI, GRUPPI, COLLABORAZIONE 7

Secondo alcuni ricercatori (Grudin, 1991) la principale causa
di diversità dipende dal fatto che i ricercatori CSCW provengono
da due aree aventi focus diversi. Ci sono ricercatori che si con-
centrano sul “Computer Support”, e quindi sugli aspetti più pret-
tamente tecnologici ed infrastrutturali normalmente correlati allo
sviluppo di applicazioni per singoli utenti, mentre altri analizza-
no il “lavoro cooperativo”. Questi ultimi sono maggiormente in-
teressati a come la tecnologia influenzi le attività di gruppi di u-
tenti in un lavoro condiviso, scenario più direttamente collegato
allo sviluppo di sistemi per grandi organizzazioni, e rappresenta-
no quindi la branca maggiormente human-centered della ricerca
CSCW dove l’enfasi viene posta sul comportamento di utenti e
gruppi.
2.1.1 Differenti tipi di Lavoro Collaborativo
Pur non essendoci per il CSCW una definizione accettata da
tutte le branche del settore, ognuna di esse fa uso del termine la-
voro collaborativo per descrivere un’attività di gruppo dove i
membri di un team collaborano per raggiungere un obiettivo
condiviso. In questo senso parte del lavoro, non necessariamente
la totalità di esso, viene svolto assieme. Le parti di lavoro rima-
nenti possono invece essere suddivise e completate individual-
mente dai membri del team.
Nelle grandi organizzazioni le persone spesso sono suddivise
in gruppi geograficamente distribuiti in diverse zone e nazioni,
questa situazione chiaramente presenta notevoli differenze ri-
spetto ad un lavoro collaborativo condotto faccia-a-faccia nello
stesso luogo, e necessita di strumenti diversi per poter supportare
8 SPAZI, GRUPPI, COLLABORAZIONE

la comunicazione, il coordinamento e l’organizzazione del lavo-
ro. Per individuare e studiare questi diversi scenari, il lavoro col-
laborativo è spesso suddiviso in quattro categorie a seconda del
tempo e dello spazio utilizzato dai membri del team: sincrono e
co-locato, sincrono e distribuito, asincrono e co-locato, asincrono
e distribuito (figura 1).
Figura 1 Scenari Collaborativi
Il lavoro è Sincrono e Co-locato quando i membri del team si
trovano nello stesso luogo e nello stesso momento. Esempi di
tecnologie che supportano questo scenario sono: lavagne, ta-
vole luminose e proiettori, ogni supporto che possa dotare i
lavoratori di una visione condivisa dei dati a disposizione.
Il lavoro è invece Sincrono e Distribuito quando le persone
lavorano nello stesso momento, ma in luoghi geografici di-
versi. In queste situazioni occorre supportare sia la condivi-
sione del materiale di lavoro, sia la comunicazione tra i
membri. In questo scenario le tecnologie utilizzate vengono
raggruppate come appartenenti a workspace condivisi come,
per esempio, le applicazioni di instant-messaging e le tecno-
logie di video-conferenza.
Nelle situazioni di lavoro Asincrono e Co-locato le persone
lavorano nello stesso luogo, ma in mome nti diversi. Uno spa-
zio di lavoro fisico e condiviso come un muro con affisso un
SPAZI, GRUPPI, COLLABORAZIONE 9

piano di progetto, o una bacheca di messaggi, sono esempi di
tale scenario.
L’ultimo scenario, quello del lavoro Asincrono e Distribuito,
individua le situazioni in cui le persone lavorano in luoghi
diversi e in momenti diversi. In questo caso le tecnologie
Internet sono largamente utilizzate per supportare le attività,
come l’e-mail, i forum ed i wiki.
La classificazione appena fornita è utile per investigare quali
siano i fattori più determinanti per supportare la collaborazione
in ogni scenario. In generale due fattori devono essere tenuti in
conto: la Consapevolezza di gruppo e la Coordinazione delle at-
tività.
2.1.2 Consapevolezza e Coordinazione
Con il termine Consapevolezza di Gruppo si individua la ca-
pacità dei membri di un team di sapere cosa i propri collaboratori
stiano facendo e quale sia la situazione di contesto generale. Il
secondo aspetto, la Coordinazione, è invece necessario per unifi-
care e rendere utilizzabili i risultati delle varie sotto-attività di ri-
soluzione di un particolare compito collaborativo. Entrambi que-
sti fattori sono cruciali per la buona riuscita di un lavoro.
Nel problem-solving collaborativo è stato studiato (Baker,
2002) che i collaboratori hanno sempre almeno due compiti: il
primo riguarda la risoluzione del problema, il secondo la buona
riuscita della collaborazione. Questo aspetto è particolarmente
importante nel lavoro distribuito, dove è arduo per i membri del
gruppo sapere con esattezza cosa gli altri stiano facendo e per-
ché, ma non è un aspetto banale o trascurabile neanche nel lavo-
10 SPAZI, GRUPPI, COLLABORAZIONE

o co-locato. Dagli studi (Heath & Luff, 1992) condotti su casi di
collaborazione reali è stato osservato che l’attività di monitoring
dell’altrui operato, al fine di sincronizzarsi e rendere il proprio
lavoro più efficace, prende una larga parte delle tempistiche di
progetto, ed è spesso quasi impossibile individuare dove inizi
un’attività e dove finisca l’altra: quella individuale e quella col-
laborativa.
Queste osservazioni portano alla conclusione che gli stru-
menti CSCW devono essere progettati per permettere una ra-
pida ed efficace transizione tra le due modalità, e devono in-
corporare sistemi che possano trasmettere al meglio i segnali che
naturalmente, in uno scenario faccia-a-faccia, aiutano ad avere
velocemente una situazione di contesto. Per esempio,
l’attenzione visiva periferica e l’udito, che fanno parte della
normale percezione dell’ambiente quando più persone si trovano
nella stessa stanza, devono essere ricreati in uno scenario di la-
voro distribuito attraverso meccanismi di trasposizione degli
stessi segnali, oppure a livello simbolico (iconico) e cognitivo.
Il raggiungimento di questa visione di Consapevolezza e
Coordinazione del gruppo ha aperto la strada ad una concezione
più flessibile degli strumenti CSCW. La soluzione inizialmente
individuata, ovvero quella di creare nuovi strumenti pensati e
progettati esclusivamente per la collaborazione, si è rivelata non
particolarmente adatta ai contesti distribuiti dove vi è predomi-
nanza di strumenti che supportano il lavoro individuale. Invece,
si è fatta strada l’astrazione di un framework che orchestri le di-
verse applicazioni per il lavoro mono-utente e le doti di un livel-
lo ulteriore atto a facilitare la coordinazione. La seguente cita-
zione ben illustra questo concetto:
SPAZI, GRUPPI, COLLABORAZIONE 11

“Gli strumenti CSCW che mettono a disposizione „spazi di
lavoro condivisi‟ non dovrebbero essere concepiti come applica-
zioni o essere implementati come facenti parte di applicazioni,
ma come funzioni estese di un sistema operativo che possano es-
sere accedute e combinate in linea di principio con qualsiasi ap-
plicazione.
Se questo non accade le delicate e dinamiche relazioni che inter-
corrono tra il lavoro cooperativo e quello individuale potrebbe-
ro interrompersi” (Schmidt, 1999)
12 SPAZI, GRUPPI, COLLABORAZIONE

2.2 CSCW nello Spazio Condiviso
In relazione al diagramma raffigurante le diverse casistiche
di lavoro collaborativo e gli strumenti che possono supportarlo,
la categoria del lavoro Faccia-a-Faccia, ovvero sincrono e co-
locato, è stato uno dei meno interessati dalle investigazioni del
CSCW. Le motivazioni di questo accadimento possono essere
trovate nel contesto in cui la disciplina è nata, in concomitanza
con il crescente interesse per il lavoro distribuito e successiva-
mente con l’adozione di Internet. Probabilmente era molto più
interessante concentrarsi sul supportare attività in cui i lavoratori
fossero costretti ad una maggiore mediazione del canale tecnolo-
gico, e quindi dove fossero privati dei loro naturali canali di co-
municazione, che affrontare uno scenario in cui questi mezzi e-
rano già pienamente disponibili.
Il principio di design delle interfacce Uomo-Macchina ha
seguito di pari passo le motivazioni alla base dell’innovazione
tecnologica, ovvero: poter eseguire operazioni in maniera più ve-
loce e più efficiente. Questo ha favorito la nascita del desktop-
computing, fornendo agli utenti la possibilità di produrre risultati
di maggior qualità in un minor tempo. Il design si è poi ulterior-
mente raffinato, introducendo il concetto di esperienza utente
nelle interfacce desktop e quindi aggiungendo più dimensioni ri-
spetto all’efficacia e all’efficienza, come il l‟emozione ed il pia-
cere nell‟utilizzo, fattori che sono ora divenuti elementi fonda-
mentali di ogni applicazione. (Norman, Emotional Design, 2005)
Il risultato di questo percorso è che i personal computer sono
oggi macchine più sofisticate e sicuramente più user-friendly di
un tempo, ma rimangono comunque strumenti mono utente e
SPAZI, GRUPPI, COLLABORAZIONE 13

soprattutto orientati alla produttività (task-oriented). Questo fa
sì che all’utente sia richiesta una pressoché totale attenzione
nell’utilizzarli, come è esemplificato dalla seguente figura illu-
strante un’operatrice di uno dei primi centralini telefonici.
Ognuno di questi fattori è in netto contrasto con ciò che ac-
cade in un contesto Faccia-a-Faccia, dove più persone si trovano
in uno spazio condiviso per collaborare ad un obiettivo comune.
Il contesto collaborativo sincrono e co-locato, è infatti inerente-
mente multi-utente ed orientato all’esperienza di un gruppo in-
vece che al lavoro individuale. Inoltre, le molteplici interazioni
sociali che avvengono in questo spazio sono di varia natura, ed
ognuna di esse necessita di diversi livelli di attenzione in diffe-
renti momenti.
Queste differenze tra la natura della collaborazione nello
spazio condiviso e le caratteristiche delle esistenti interfacce per
computer sono utili per tracciare quelle che dovrebbero essere le
particolarità di una tecnologia adatta a questo scenario, una tec-
14 SPAZI, GRUPPI, COLLABORAZIONE

nologia in grado di supportare ed arricchire le differenti intera-
zioni tra i membri del gruppo di lavoro.
2.2.1 Supportare l’esperienza condivisa
Supportare nel contesto appena descritto ha un’accezione
diversa da quella inizialmente delineata e anche più recentemen-
te ribadita (Carstensen & Schmidt, 1999) dal Computer-
Supported Cooperative Work.
Normalmente ovunque esista un lavoro da fare, questo può
essere organizzato in diverse attività e sotto-attività fino ad arri-
vare al livello delle azioni pratiche che vengono assegnate alle
risorse e devono essere completate in un certo tempo. Le mac-
chine ed il software task-oriented sono progettati esattamente per
seguire questa procedura, facilitando il processo e rendendolo
più veloce e scorrevole, in quanto il focus è sulla produzione fi-
nale.
Non è però possibile uniformare ogni attività collaborativa
usando come modello ciò che avviene all’interno di un contesto
in cui l’organizzazione e l’obiettivo sia così chiaro, come un uf-
ficio in una realtà aziendale. Altre attività collaborative e condi-
vise, come le riunioni di problem-solving, il brainstorming di-
vergente per generare idee e soluzioni e riunioni di vario genere,
non hanno il loro focus solamente in produzioni discrete e ben
individuabili, ma in una generale esperienza condivisa che di-
venga patrimonio comune di ogni partecipante.
Lo schema in figura 2 descrive il diverso ruolo
dell’interfaccia nei due differenti casi: un’applicazione che sia
SPAZI, GRUPPI, COLLABORAZIONE 15

task-oriented e dedicata ad un singolo utente, oppure
un’applicazione di groupware orientata all’esperienza.
Figura 2 Interfaccia orientata all’Esperienza
Nel primo caso il modello mentale (Norman, 1988)
dell’utente è costruito iterativamente utilizzando l’interfaccia
dell’applicazione ed apprendendone mano a mano le funzioni. Il
goal dell’utente viene raggiunto attraverso passi discreti, proce-
dendo ad un ritmo crescente verso l’obiettivo, vista la natura
specializzata dell’applicazione. Differente è invece il caso di
un’applicazione orientata all’esperienza per un gruppo di utenti,
dove il ciclo di feedback tra i modelli mentali dei membri del
team e l’interfaccia è più frequente, e la coordinazione avviene
tramite lo scambio di idee ed opinioni. In questo secondo caso,
l’obiettivo degli utenti non viene raggiunto così esplicitamente
ad ogni passo di utilizzo dell’applicazione, ma passa da uno stato
che potrebbe essere definito di “rarefazione” fino a “condensar-
si” in una configurazione stabile, che rappresenta il consenso
raggiunto da tutti i partecipanti alla collaborazione rispetto
all’obiettivo iniziale.
16 SPAZI, GRUPPI, COLLABORAZIONE

Il design di un’applicazione orientata all‟esperienza deve
quindi fondarsi su principi diversi, supportando al meglio il flus-
so naturale degli eventi, legati alla collaborazione, che accadono
nello spazio condiviso. Questo non significa introdurre comples-
se linee guida di design, al contrario, occorre mettere l’essere
umano (con le proprie caratteristiche fisiche, sociali e cognitive)
al centro dell’esperienza.
Sfortunatamente non è così semplice implementare questa
visione poiché quando la tecnologia viene introdotta all’interno
di un contesto sociale “fisico” come un ambiente di lavoro è dif-
ficile trovare un buon bilanciamento tra le nuove funzioni che es-
sa introduce e le deformazioni che essa causa al contesto stesso.
2.2.1.1 Integrare la tecnologia negli ambienti
Come prima considerazione, la tecnologia è sempre stata dif-
ficilmente integrabile negli ambienti. I dispositivi tecnologici
hanno infatti un ingombro fisico normalmente non trascurabile,
ed un loro stile e design non propriamente “neutro”. Questo fa sì
che ogni dispositivo, quando viene inserito in un ambiente, in-
troduca dei vincoli di varia natura (per esempio: le connessioni
elettriche, o di rete), motivo per cui il futuro dei dispositivi am-
bientali è di essere trasparentemente integrati negli ambienti
stessi. Questo obiettivo è raggiungibile in diversi modi:
Un primo metodo è far sì che la tecnologia scompaia nello
spazio condiviso, come descritto dal paradigma di design del
RoomWare (Prante, Streitz, & Tandler, 2004). Il fine è in questo
caso ridurre l’ingombro spaziale collassando la struttura ma
mantenendo le funzionalità invariate (per esempio: attraverso
l’utilizzo della proiezione digitale invece che i monitor). Questo
SPAZI, GRUPPI, COLLABORAZIONE 17

livello di intervento è strettamente legato agli avanzamenti tec-
nologici nell’ingegneria elettronica e nella miniaturizzazione,
che mira a ridurre al minimo i vincoli fisici ed ergonomici dei di-
spositivi permettendo agli spazi aumentati (così sono definiti gli
ambienti nei quali venga introdotta tecnologia invisibile) di con-
servare una caratteristica generale di leggerezza.
Un approccio differente è invece concentrarsi sugli oggetti,
incorporando nuove funzionalità all’interno di strutture già esi-
stenti o inventando nuovi oggetti che possano relazionarsi in
maniera differente con l’ambiente che li circonda. Questo ap-
proccio riguarda soprattutto la relazione tra le persone e gli og-
getti, sia quelli che essi conoscono ed utilizzano normalmente sia
quelli di nuova concezione, che possono suggerire all’utente
nuove modalità di interazione con il contesto circostante.
Le strutture tradizionali degli ambienti di lavoro, come tavoli e
scrivanie oppure gli stessi muri di una stanza, possono quindi di-
venire oggetti capaci di incorporare nuove interfacce e fornire al-
tre funzioni. In questo modo gli oggetti che sono già conosciuti
ed utilizzati nella normale operatività degli utenti, conservano le
loro affordance (Gibson, 1977) fondamentali e possono offrirne
di nuove.
Gli oggetti di nuova concezione possono introdurre queste
nuove affordance partendo dalle regole fondamentali
dell’ergonomia, come per esempio l’utilizzo di forme che ricor-
dino altri oggetti naturali ed azioni innate, arricchendoli con altri
canali di comunicazione (visuali, auditivi, cinestesici). Questo
con l’intento di creare una comunicazione bi-direzionale che si
distanzi dal normale meccanismo di azione-reazione e divenga
invece una forma di dialogo.
18 SPAZI, GRUPPI, COLLABORAZIONE

L’attitudine di un utente di fronte ad un nuovo oggetto non
dovrebbe essere la paura di un’ulteriore complessità da appren-
dere forzatamente, ma l’emozione connessa con l’esplorazione.
Quando le nuove funzioni di un oggetto vengono scoperte,
quest’ultimo deve poter essere messo in relazione con gli altri
anche in contesti differenti, permettendo l’esplorazione di un va-
sto mondo di possibili connessioni e relazioni. Da questo punto
di vista il design tecnologico deve seguire una sorta di strategia:
deve essere rassicurante nei confronti dell’utente, concentrando-
si prima sugli aspetti fondamentali (un insieme ristretto di fun-
zionalità di base) e minimizzandone il tempo di apprendimento.
D’altro canto deve essere anche stimolante e seduttivo nel pro-
porre funzionalità più avanzate, e questa ulteriore complessità
deve poter essere distribuita nel tempo.
Un esempio dell’applicazione di tale design, in un ambiente
collaborativo condiviso, è rappresentato dalla capacità degli og-
getti interattivi di minimizzare le interruzioni del normale dialo-
go tra le persone e di fornire un accesso rapido a contenuti multi-
mediali che possano supportare l’attività in corso.
2.2.2 Arricchire l’esperienza condivisa
Arricchire l’esperienza collaborativa nello spazio condiviso,
utilizzando la tecnologia come descritto nella sezione preceden-
te, ha a che fare con le nuove funzioni che possono essere acce-
dute tramite interfacce di nuova concezione. In questo senso, il
focus è maggiormente spostato sulle fasi più avanzate
dell’interazione, quelle in cui l’utente abbia già gestito l’aspetto
SPAZI, GRUPPI, COLLABORAZIONE 19

spaziale/tangibile dell’interfaccia e si sia addentrato sul piano
della gestione dell’informazione digitale.
E’ appunto a questo livello che esiste un pericolo: la natura
meno vincolata dell’aspetto digitale dell’interfaccia può facil-
mente sfociare in un maggior carico cognitivo, che si traduce
immediatamente nell’eccessivo assorbimento, da parte
dell’applicazione, dell’attenzione dell’utente. In questo stadio
l’interfaccia grafica assume un ruolo molto importante: non solo
essa è quel livello di comunicazione tra l’utente ed il sistema, ma
diviene anche mediatrice tra le intenzioni dei diversi utenti pre-
senti nello spazio condiviso.
2.2.2.1 Interfacce Condivise
In un modello tradizionale, a singolo utente, l’interfaccia di
una applicazione segue il paradigma del controllo diretto dove
l’utente è il master ed il sistema il server. In un sistema condivi-
so, come quello descritto dalla citazione di Schmidt (Schmidt,
1999) (sezione 2.1.2), l’interfaccia deve invece tenere conto dei
desideri e delle intenzioni di una moltitudine di utenti, oltre ad
adattarsi alle loro diverse modalità di interazione e alla loro evo-
luzione nel tempo.
Il designer dell’applicazione deve quindi considerare
l’interfaccia grafica come parte integrante dell’affordance di un
oggetto (sia fisico che digitale); essa diviene l’elemento che ha il
compito di mantenere attiva la comunicazione con gli utenti, sia
nel caso che essi stiano interagendo con il sistema, sia nel caso
che non ci siano eventi di questo tipo per un certo periodo di
tempo. In questa seconda situazione l’interfaccia ricopre un altro
ruolo essenziale in uno spazio sociale condiviso: contribuendo
20 SPAZI, GRUPPI, COLLABORAZIONE

alla creazione dell’informazione ambientale (Apperley,
Dahlberg, Jeffries, Paine, Phillips, & Rogers, 2001) (Dempski &
Harvey, 2002). Le interfacce nello spazio condiviso devono tene-
re in considerazione un contesto nel quale gli utenti verranno
frequentemente e ripetutamente interrotti nell’utilizzarle; a causa
della natura dell’interazione umana basata sul dialogo e lo scam-
bio di opinioni, le azioni sull’interfaccia verranno iniziate, sospe-
se, e terminate in momenti diversi. Per questo motivo il livello
visuale dell’interfaccia deve essere pensato per utilizzare
l‟attenzione periferica degli utilizzatori, tramite un’attenta sele-
zione dei simboli grafici ed un’auto-organizzazione dei contenu-
ti, potendo poi tornare al paradigma del controllo diretto quando
ve ne è la necessità.
Un reale arricchimento dell’esperienza può avvenire se tutte
queste nuove modalità di stimolazione dell’utente riescono, in
accordo con le sue naturali espressioni ed intenzioni, ad incre-
mentarne la curiosità ed il desiderio di esplorare diverse combi-
nazioni di contenuti e funzioni.
SPAZI, GRUPPI, COLLABORAZIONE 21

2.3 Visualizzare la Conoscenza
La ricerca sulle modalità per dotare un dato, a livello quanti-
tativo e qualitativo, di una rappresentazione grafico-visuale è
chiamata Visualizzazione dell‟Informazione. Questo campo di
studio si è evoluto in maniera rapida fin dagli anni 70, quando le
capacità dei computer di rappresentare i dati sono state in grado
di andare oltre alle usuali visualizzazioni tabellari, ed ha visto
una quantità sempre crescente di ricercatori coinvolti.
al.
Una definizione largamente accettata è la seguente di Card et
“ [la Visualizzazione dell‟Informazione] riguarda l‟utilizzo
di rappresentazioni visuali, interattive e supportate dal computer
di dati astratti, con l‟obiettivo di amplificare la capacità di co-
noscere ed estrapolare informazioni” (Card, Mackinlay, &
Shneiderman, 1999)
In generale, le caratteristiche della Visualizzazione
dell’Informazione, comprendono:
La gestione di grandi quantità di dati numerici provenienti da
un particolare contesto di raccolta di informazioni (per esem-
pio statistico).
L’individuazione di metodologie per semplificare l’accesso,
la selezione, la classificazione e infine l’organizzazione dei
dati.
L’utilizzo di strumenti computer-supported analitici e specia-
listici, solitamente mono utente e fortemente orientati
all’attività.
SPAZI, GRUPPI, COLLABORAZIONE 23

Anche in questo caso, l’evoluzione tecnologica dei computer
(ed in particolare delle capacità del visual display) hanno in-
fluenzato notevolmente il percorso della ricerca, tanto che un as-
sunto di base della disciplina è che “ci sono troppi dati da visua-
lizzare, e lo schermo è troppo piccolo” (Spence, 2000). Per que-
sto ed altri motivi connessi con la quantità dei dati da rappresen-
tare, gran parte delle investigazioni si sono concentrate sulle te-
matiche della percezione, ovvero:
Il Visual Encoding che si occupa di come mappare i dati
sulle strutture visuali, tenendo conto della suddivisione
spaziale e del tipo di display che si sta utilizzando, così
come la selezione dei simboli e degli attributi visuali.
Lo studio della Visual Perception di basso livello, ovvero
come il sistema visivo umano analizza le immagini, stima
le zone a più alta densità di informazione e come questo
processo si relaziona con gli attributi di dimensione,
quantità e direzione (tra gli altri) dei simboli utilizzati.
Una parte più ad alto livello della disciplina si è invece oc-
cupata delle strutture visuali, classificando grafici e diagrammi
in base alla loro espressività nel riuscire a visualizzare certe
quantità o dinamiche. Recentemente, molti di questi studi si sono
occupati della rappresentazione automatica dell’informazione u-
tilizzando algoritmi di vario genere (su grafi, basati su simula-
zioni fisiche etc.) sempre al fine di migliorare la resa grafica e
renderla più leggibile agli utenti.
24 SPAZI, GRUPPI, COLLABORAZIONE

2.3.1 Differenze tra Informazione e Conoscenza
Il concetto di visualizzare Conoscenza anziché Informazione è
invece relativamente recente e ben descritto dalla seguente for-
mulazione di Eppler:
“La Visualizzazione della Conoscenza si concentra sul mi-
gliorare la creazione ed il trasferimento di conoscenza tra grup-
pi di persone, dotandoli di mezzi più avanzati per esprimere ciò
che essi sanno.” (Eppler & Burkard, 2004)
Mentre la visualizzazione dell’informazione è più concentr a-
ta sul migliorare l’accesso e la categorizzazione dei dati, la vi-
sualizzazione della conoscenza mira ad aumentare la comunica-
zione tra le persone in contesti in cui si faccia un uso intensivo di
sapere condiviso, per esempio: collegando nuove scoperte di
gruppo a concetti che sono già conosciuti ed utilizzati, come ac-
cade nelle metafore visuali. Risulta chiara una notevole differen-
za che ci può essere tra un dato astratto (qualitativo, o quantitati-
vo) ed un’esperienza, una prospettiva o un’opinione ovvero: tra
ciò che origina da un contesto matematico e ben formulato e ciò
che è risultato di un processo di condivisione delle informazioni
in un gruppo di lavoro.
La disciplina della Knowledge Visualization si pone come
primo obiettivo quello di massimizzare la propagazione delle in-
formazioni all’interno di un’organizzazione, assicurandosi che
queste vengano correttamente comprese. Trattandosi di esperien-
ze, il vero tesoro e memoria storica dei gruppi di lavoro, occorre
utilizzare metafore visuali che permettano una ricostruzione
quanto più precisa dei processi in modo da stimolare una dina-
mica di continuo miglioramento dei risultati rispetto al passato.
SPAZI, GRUPPI, COLLABORAZIONE 25

L’esito di una corretta visualizzazione della conoscenza può di-
venire in questo modo tangibile, come una migliore coesione ed
efficienza sia nel formulare che nel perseguire gli obiettivi con-
divisi.
Queste fondamentali differenze tra le due discipline, unita-
mente al diverso campo di applicazione (più scientifico in un ca-
so, più organizzativo nell’altro), hanno richiesto nuovi modelli
per definire i tipi di conoscenza ed i contesti nei quali questa
viene trasferita.
2.3.2 Tipi di Conoscenza
Per un efficace creazione e trasferimento di conoscenza tramite
la visualizzazione, devono essere considerati almeno tre aspetti:
Che tipologia di conoscenza è visualizzata?
Perché tale conoscenza dovrebbe essere visualizzata?
Come viene realizzata tale visualizzazione?
Esistono diverse formulazioni dei tipi di conoscenza, soprat-
tutto dalla vasta letteratura riguardante il Knowledge
Management (Alavi & Leidner, 2001), se ne possono considerare
soprattutto cinque tra le più utili ad individuare quale modalità di
visualizzazione sia la più indicata:
La conoscenza dichiarativa, ovvero il cosa.
La conoscenza procedurale, il come realizzare un certo
processo.
La conoscenza esperienziale e sperimentale, il perché.
La conoscenza direzionale, che riguarda il luogo dove
si svolge il processo, il dove.
26 SPAZI, GRUPPI, COLLABORAZIONE

La conoscenza individuale, il chi ha partecipato al
processo.
Partendo da questa categorizzazione, occorre rispondere alla
seconda domanda indagando il motivo della visualizzazione del-
la conoscenza. Nel caso in cui conoscenza sia cercata da un
gruppo attraverso un processo incrementale si parla di creazione
di conoscenza, mentre se questa è il risultato di diversi processi
di cui lo stesso gruppo (o altri) hanno fatto parte in precedenza,
si parla di codifica e tesaurizzazione. L’organizzazione può inol-
tre richiedere esplicitamente ai propri lavoratori di effettuare una
mappatura delle conoscenze, al fine di individuare chi siano gli
esperti e ridirigere quindi i flussi di informazioni ottimizzando le
risorse.
Infine, il terzo aspetto richiesto è lo quale sia lo strumento
visuale da utilizzare per rappresentare tale conoscenza, ed il mo-
do in cui viene impiegato.
2.3.3 Linguaggi Visuali per la Conoscenza
Eppler, fondando la disciplina della Visualizzazione della Cono-
scenza, ha individuato in maniera sintetica quali siano le catego-
rie di linguaggi visuali più adatte a rappresentare il sapere nelle
situazioni descritte nella sezione precedente.
2.3.3.1 Bozzetti Euristici
Con questo termine si identificano disegni, schizzi e bozze di
svariata natura, presi in maniera informale sia da utenti singoli
come supporto allo sviluppo del proprio pensiero, sia da gruppi
di persone come supporto per comunicare e comprendersi.
SPAZI, GRUPPI, COLLABORAZIONE 27

Questo strumento visuale è altamente flessibile, e per sua natura
non si presta a formalizzazione. Tende a catturare l’atmosfera
generale di un’idea in maniera sintetica e veloce. Uno svantaggio
dei bozzetti euristici è che essi sono un formato instabile (da cui
la parola euristico) per visualizzare una conoscenza altrettanto
instabile e preliminare.
Figura 3. Esempi di bozzetti euristici (sketches)
2.3.3.2 Diagrammi Concettuali
I diagrammi concettuali sono rappresentazioni schematiche
ed astratte di un certo processo o sistema, particolarmente utili
per ridurre la complessità dell’informazione ed aiutare gli utenti
nell’esplorazione delle relazioni tra i dati. La natura di questi
formalismi è analitica ed altamente strutturata, per questo motivo
i diagrammi fanno ricorso ad un insieme anche vasto ma finito di
simboli visuali (cerchi, linee, tratteggi) e regole per il loro utiliz-
zo. Tale linguaggio formale si presta bene ad un’archiviazione in
formato elettronico.
28 SPAZI, GRUPPI, COLLABORAZIONE

Figura 4. Esempio di diagramma concettuale
2.3.3.3 Metafore Visuali
Le Metafore Visuali sono la sintesi tra i Bozzetti Euristici ed
i Diagrammi Concettuali, mantengono la flessibilità e la creativi-
tà dei primi ma introducono il formalismo e la razionalità che si
trova nei secondi. Graficamente vengono rappresentate metafore
di scene naturali o comunque processi universalmente conosciu-
ti, in modo da poter guidare l’utilizzatore partendo ciò che gli è
familiare fino a nuovi concetti, ragionamenti e scoperte. In que-
sto senso le metafore visuali divengono uno strumento di trasla-
zione delle idee, come indica anche il significato del termine
greco metapherein: “portare qualcosa da un’altra parte”.
La dualità dei livelli di informazione (grafica nello sfondo, e
concettuale nel primo piano) ha anche la caratteristica di aiutare
la memorizzazione e la ricostruzione; inoltre, siccome la scena
usata come base per la metafora è normalmente la rappresenta-
zione di un processo, questi strumenti visuali sono ottimi per
rappresentare conoscenza procedurale.
SPAZI, GRUPPI, COLLABORAZIONE 29

2.3.3.4 InfoVisual
Figura 5. Esempio di metafora visuale
Inserendo il movimento nelle metafore visuali e nei dia-
grammi concettuali si arriva agli InfoVisual ovvero le animazio-
ni di conoscenza. Questi strumenti visuali possono essere sia di
sola riproduzione, ovvero un video raffigurante un processo o
una spiegazione, oppure interattivi, permettendo all’utente di
manipolare alcuni parametri durante la riproduzione.
Il supporto dato oggi da programmi di produttività semplici e
potenti ha notevolmente aumentato l’adozione di questo modo di
rappresentare la conoscenza, soprattutto negli ambiti formativi.
La differenza fondamentale rispetto a una tradizionale risorsa
audio-visuale per il training del personale risiede nell’utilizzo
degli elementi delle metafore visuali e dei diagrammi concettuali
unitamente all’animazione. Lo scopo fondamentale degli InfoVi-
sual è quello di attirare l’attenzione, di fissare alcuni concetti
nella mente di un’audience e possibilmente stimolare una discus-
sione successiva. Nel caso di animazioni interattive, questi stru-
menti possono divenire anche analitici, permettendo di scoprire
nuove informazioni in maniera dinamica..
30 SPAZI, GRUPPI, COLLABORAZIONE

Figura 6. Esempio di animazione di conoscenza (InfoVisual)
2.3.3.5 Mappe di Conoscenza
Le Mappe di Conoscenza sono utilizzate soprattutto per rife-
rirsi a una conoscenza già esistente, piuttosto che cercare di cre-
arne di nuova. Come le Metafore Visuali fanno uso di due livelli,
sullo sfondo vengono rappresentati elementi che appartengono
alla cultura comune dell’organizzazione (per esempio la mission
aziendale, il business model, oppure la descrizione visuale di un
prodotto di punta) mentre nel primo piano vengono inseriti ele-
menti rappresentanti singole persone, team, esperti o intere co-
munità.
In questo senso le Mappe di Conoscenza possono essere
considerate come indicizzazioni grafiche di sorgenti di cono-
scenza, e possono utilizzare un modello geografico (ereditando
convenzioni e simboli propri della topografia) o altre rappresen-
tazioni schematiche, in entrambi i casi conservando una forte ca-
ratterizzazione spaziale del contesto.
SPAZI, GRUPPI, COLLABORAZIONE 31

Figura 7. Esempio di mappa di conoscenza, metafora della metromap.
32 SPAZI, GRUPPI, COLLABORAZIONE

2.4 Contesti interattivi per la Conoscenza
Fino a questo punto è stata introdotta la disciplina del
CSCW, analizzando in particolar modo le caratteristiche del con-
testo Faccia-a-Faccia, e sono stati elencati i tipi di conoscenza e
gli strumenti visuali che possono supportare le attività cognitive
di un team di lavoro.
Prima di addentrarsi nelle tematiche dell’interazione natura-
le come modello per il design delle interfacce ambientali, occor-
re porre l’attenzione su cosa significa costruire conoscenza co-
mune e quali sono le particolarità di tale attività.
La seguente citazione di Bereiter suggerisce che il termine “cre-
azione di conoscenza” applicato ad un contesto collaborativo è
qualcosa di più che un’attività di apprendimento stimolato
dall’esplorazione:
“Sebbene sia stato originariamente introdotto nella lettera-
tura sulle scienze educative, il termine „creazione di conoscenza‟
ha un significato più applicabile ai contesti professionali e busi-
ness. Ovvero, si riferisce alla creazione ed al miglioramento del-
le idee che hanno una loro „vita propria‟ nel mondo, dove sono
soggette ai processi sociali di valutazione, revisione ed applica-
zione.” (Bereiter & Scardamalia, 2001)
In contrasto con la conoscenza individuale (studiata negli
ambiti educativi) e quella condivisa in comunità ristrette, la co-
noscenza “creata” di cui si parla ha la caratteristica di divenire
pubblica per il contesto a cui è applicata. Essa diviene oggetto
dell’indagine di molti e la base per la creazione di ulteriore sape-
re. Per questo motivo il modo in cui viene creata, le modalità di
SPAZI, GRUPPI, COLLABORAZIONE 33

accesso e di esplorazione di essa, devono essere accuratamente
analizzate al fine di costruire un sistema di supporto ed un inter-
faccia adatta allo scopo.
Esiste sicuramente un parallelismo tra i workspace virtuali
realizzati tramite strumenti online nell’ambito del CSCW distri-
buito e le nuove possibilità che un ambiente aumentato può in-
trodurre. La stragrande maggioranza dei principi e delle linee
guida che stanno alla base dei processi di gestione e trasferimen-
to della conoscenza nelle comunità online del Web 2.0 possono
essere utilizzate anche nel contesto Faccia-a-Faccia.
2.4.1 Parallelismo con il l modello Wiki
I Wiki Web è un paradigma di creazione di spazi iper-
testuali per la gestione e la condivisione di conoscenza che è sta-
to introdotto da Cunningham nel 2001 (Cunningham & Leuf,
2001), portando in un tempo breve all’apparizione di moltissimi
siti e strumenti basati su questo modello. Oggi, i wiki sono con-
siderati il migliore strumento per costruire conoscenza comune,
da parte di migliaia di utenti geograficamente distribuiti, come
testimoniato da progetti del calibro di WikiPedia.
Le caratteristiche che hanno portato ad una così ampia ado-
zione di questi strumenti possono essere analizzate alla luce della
traslazione degli stessi concetti in un ambiente aumentato.
2.4.1.1 Identità e democrazia
Nei wiki la linea guida generale è quella di lasciare a tutti la
possibilità di contribuire in ogni modo possibile ed in ogni mo-
mento. Nelle comunità online questo viene realizzato sia attra-
34 SPAZI, GRUPPI, COLLABORAZIONE

verso l’editing anonimo sia semplificando e velocizzando le pro-
cedure di registrazione.
Traslando tutto questo all’interno di un ambiente fisico inte-
rattivo, il concetto si applica cercando di creare, a livello di de-
sign, modalità naturali e facilitate per inserire ed editare contenu-
ti digitali sugli artefatti interattivi. Spesso i dati vengono colle-
zionati attraverso ricerche sul Web, oppure sono generati utiliz-
zando applicazioni esterne per la produzione digitale e trasportati
su supporti di memoria mobili o dispositivi come player mp3,
palmari e cellulari. L’infrastruttura dell’ambiente dove viene
creata conoscenza deve quindi tenere conto di tutte le complessi-
tà tecniche legate al trasferimento dei dati, cercando di rendere
ogni transazione la più trasparente possibile. Mano a mano che
gli utenti connettono i dispositivi, il livello dell’interfaccia pre-
sentato sugli oggetti interattivi deve essere in grado di adattarsi
ai nuovi dati in arrivo senza interrompere l’attività in corso.
Come per il modello wiki, tutto questo può avvenire in qualsiasi
momento, sia nella fase iniziale dove i materiali vengono sele-
zionati, sia durante il processo.
Un altro argomento riguarda l’identità degli utenti. Cono-
scendo i proprio utilizzatori, il sistema operativo dello spazio
aumentato deve attribuire il possesso dei materiali alle diverse
identità, ed allo stesso modo deve poter associare ad esse le a-
zioni intraprese su ogni contenuto digitale nei diversi spazi a di-
sposizione.
Tutto questo può essere risolto al livello dell’interfaccia, creando
esplicitamente una visualizzazione che permetta ai partecipanti
di collegare i materiali alle proprie identità, oppure può dipende-
re da oggetti esterni per l’identificazione automatica (badge di
riconoscimento).
SPAZI, GRUPPI, COLLABORAZIONE 35

Gli oggetti interattivi devono quindi essere dotati di sensori
in grado di rilevare la presenza e l’identità dell’utente in base al-
la prossimità, permettendo un’autenticazione automatica. Allo
stesso modo, appoggiando il proprio oggetto identificativo sulle
superfici interattive, si apre la possibilità per gli utenti di creati
dei territori all’interno dei quali lavorare con i propri dati.
2.4.1.2 Informazione centrata sull’Argomento
Il modello di conoscenza dei wiki è basato su un insieme di
pagine, il cui titolo rappresenta l’argomento e diviene anche la
parola per referenziare la risorsa da altre pagine. Questo sempli-
ce metodo basato sul testo rende particolarmente semplice gene-
rare strutture ipertestuali, referenziando risorse esistenti o immet-
tendo dei segnaposto che verranno poi arricchiti in seguito dalla
comunità.
Negli spazi aumentati le interfacce ambientali sono invece mag-
giormente visuali e fanno uso di un livello più simbolico ed a-
stratto. Il testo è presente ma non predominante, e viene soprat-
tutto usato per creare etichette e fornire informazioni addizionali
sui contenuti multi-mediali.
La conoscenza, come precedentemente descritto (sez. 2.3.3
pag. 27), è modellata come concetti visuali che appartengono a
diverse categorie dipendenti dal contesto e dall’applicazione. La
costruzione di conoscenza avviene immettendo simboli e colle-
gandoli tra di loro, aggiungendo note e commenti che possono
essere audio-visuali. Questo processo porta alla creazione di una
rete semantica, per cui linguaggi visuali come i Diagrammi Con-
cettuali sono particolarmente adatti a rappresentare le produzioni
del team di lavoro.
36 SPAZI, GRUPPI, COLLABORAZIONE

2.4.1.3 Versionamento
Alla base del sistema di editing dei contenuti nei wiki c’è il
concetto di versionamento dei documenti. Ogni modifica ad una
risorsa viene salvata come copia, in questo modo l’intera evolu-
zione di un documento rimane visibile e può essere consultata
dagli utenti del sistema. Le comunità wiki utilizzano questa ca-
ratteristica per proteggersi dagli atti vandalici ma soprattutto per
seguire lo sviluppo della discussione, infatti ogni versione del
documento è accompagnata dalle note di chi effettua la modifica.
L’intera comunità può quindi esprimere la propria opinione sulle
modifiche e partecipare al processo di rifinimento, questo è uno
dei sistemi che contribuisce ad aumentare la Consapevolezza di
gruppo (sez. 2.1.2 pag. 10 ).
Il versionamento diviene ancora più interessante quando è
applicato a livello delle strutture visuali sugli oggetti interattivi.
Infatti, l’intero processo della creazione di conoscenza può esse-
re effettivamente catturato ed espresso nell’evoluzione delle reti
semantiche di concetti e relazioni mano a mano che queste ven-
gono modificate. A differenza del formato ipertestuale dei wiki,
l’evoluzione di queste strutture può essere facilmente “animato”
a livello grafico, mostrando in maniera intuitiva sia piccole mo-
difiche che grandi rimaneggiamenti, e divenendo in questo modo
una modalità automatica per creare InfoVisual (sez. 2.3.3.4 pag.
30) utili alla comunità.
SPAZI, GRUPPI, COLLABORAZIONE 37

Capitolo 3
Interazione Naturale
Nell’esaminare le sfide che occorre superare per impleme n-
tare efficacemente la tecnologia negli spazi condivisi è stato già
anticipato che la relazione tra gli utenti, gli artefatti interattivi e
gli ambienti deve essere modellata come un dialogo. Il vantaggio
che si può ottenere applicando questo principio è la creazione di
artefatti che sono in grado di ascoltare e comprendere le inten-
zioni dell’utente, al fine di impiegare queste informazioni
all’interno del processo comunicativo.
Gli artefatti interattivi, gli spazi aumentati, la tecnologia am-
bientale e l’ubiquitous computing sono tutti campi di studio ed
applicazione della Human-Computer Interaction (HCI). In ognu-
no di questi ci si concentra sia sugli aspetti tecnologici, sia sulle
modalità attraverso le quali gli utenti esprimono ciò che vogliono
realizzare. Le tecniche utilizzate sono raggruppate sotto il con-
cetto di interazione multi-modale, dove il focus è posto su come
le macchine possono comprendere i comandi che gli utenti im-
partiscono utilizzando i diversi canali di comunicazione
dell’essere umano (Marsic, Medl, & Flanagan, 2000).
Tra questi si possono trovare: il riconoscimento vocale, il na-
tural language processing ed il riconoscimento dei gesti. Ognuna
di queste tecniche è stata largamente applicata in diversi modi e
sfumature, spaziando da ruoli attivi (in cui il sistema osserva
l’utente ed è proattivo nell’interagire con esso) a ruoli passivi
(dove il sistema attende un certo tipo di comando, spesso impar-
tito tramite un dispositivo indossato dall’utente).
INTERAZIONE NATURALE 39

Il focus della ricerca sulla HCI si è evoluto dal concetto ini-
ziale di interfaccia, definita come “l‟insieme ottimale di segni
per l‟interazione tra due entità” (Nadin, 1988) a quello di inte-
razione (Dourish, 2001) dove sono le persone e le attività ad es-
sere al centro del processo di design, e non solo il modo in cui le
macchine vengono create per servire allo scopo umano. Negli ul-
timi anni, alcuni ricercatori hanno cominciato a formalizzare il
tema dell’Interazione Naturale (Valli, 2007) come un connubio
di tecnologie in grado sia di rilevare le espressioni degli utenti,
sia di presentare i dati in un modo particolarmente intuitivo.
Questo approccio è stato caratterizzato da una visione piuttosto
radicale per quanto riguardo la libertà degli utenti nel poter uti-
lizzare gli artefatti interattivi.
Un sistema ad Interazione Naturale è realizzato in modo da
poter riconoscere le espressioni umane, innate ed istintive, in re-
lazione ad un certo oggetto e ritornare all’utente un corrispon-
dente feedback che sia atteso ed ispirante. Tutta la tecnologia e
l’analisi dei dati è spostata sugli artefatti interattivi e all’utente
non viene chiesto di indossare nulla, o di imparare alcun coman-
do o procedura. Al contrario, sono le prime interazioni con il si-
stema che devono essere abbastanza intuitive da guidare l’utente
attraverso l’esplorazione del resto dell’interfaccia. L’utilizzatore
di un sistema naturale deve essere in grado di imparare per imi-
tazione, guardando altri usare l’interfaccia, ed imparare le fun-
zioni di base con pochissimi tentativi. Per questo motivo, le in-
terfacce sono modellate in modo da escludere il concetto di “er-
rore” nell’eseguire le operazioni, e ciò al fine di creare una rela-
zione di confidenza tra l’utente ed il sistema.
Le espressioni che possono essere utilizzate sono quelle con-
siderate innate, intendendo con questo che non devono essere
40 INTERAZIONE NATURALE

imparate. Tra queste, vi sono tutti i gesti utilizzati dagli essere
umani per esplorare lo spazio circostante il proprio corpo o le
immediate vicinanze. Alcune di queste espressioni, riportate nel-
la tabella 1 sono etichettate come dirette per indicare come
l’oggetto dell’interesse sia normalmente molto esplicito (es: un
oggetto fisico o digitale). Altre azioni sono chiamate indirette
perché appartengono maggiormente ad una modalità comporta-
mentale più complessa ed articolata.
Toccare
Afferrare
Puntare
Azioni Dirette Azioni Indirette
Avvicinarsi
Guardare
Stare vicino
Tabella 1. Espressioni umane dirette ed indirette
Le azioni dirette esprimono un chiaro segno di interesse da
parte dell’utente, e necessitano di una reazione immediata da
parte del sistema, con la minima latenza. Le azioni indirette pos-
sono anch’esse seguire questa regola, ma possono anche essere
raccolte dal sistema e studiate in un periodo di tempo più lungo,
generando altri eventi più collegati all’ambiente ed allo spazio
che circondano l’utente e l’artefatto. Quando più di un utente è
coinvolto, la differenza tra questi due tipi di espressioni è mag-
giore ed il sistema deve essere in grado di adattare la propria
analisi in tempo reale per coprire il nuovo scenario.
In questa descrizione l’idea di un potenziamento
dell’espressività dell’interazione tra utente e sistema è realizzato
tramite un ritorno ad intenzioni più innate. Questo però non si-
gnifica che le applicazioni che seguono l’interazione naturale
siano solamente dedicate ad utenti casuali o non esperti. Al con-
trario, grazie a questa intuitività gli utilizzatori saranno più velo-
INTERAZIONE NATURALE 41

cemente sedotti e persuasi a servirsi del sistema, e diverranno più
esigenti nei suoi confronti. Quindi, il design delle applicazioni
deve prevedere anche diversi livelli di utilizzo, ed essere in gra-
do di offrire maggiori funzioni a chi ne fa richiesta.
Le funzioni di un sistema ad Interazione Naturale sono rag-
gruppate in due moduli, il modulo di sensing e quello di presen-
tazione.
42 INTERAZIONE NATURALE

3.1 Sensing
Nei dispositivi ad interazione naturale il concetto di sensing,
definito come il “dotare di sensi” le macchine, estende quello più
generale di input nel desktop computing. Nel secondo caso
all’utente è richiesto di imparare come utilizzare il dispositivo, e
ciò non fa che aumentare la distanza tra l’utente e l’artefatto inte-
rattivo. Gli utenti devono cambiare le loro abitudini, comporta-
menti e spesso la loro postura; questo ha un impatto diretto sui
loro pensieri e le loro emozioni. Ciò che nasce come
un’espressione di interesse verso l’artefatto viene deviata dalla
modalità di interazione, viene persa parte del suo scopo: trasmet-
tere stimoli ed informazioni. Per cercare di evitare tutto questo,
un sistema ad interazione naturale deve eliminare la necessità di
avere dispositivi esterni di controllo, sostituendoli con modalità
avanzate per catturare ciò che l’utente sta effettivamente facen-
do.
Questo argomento, nei riguardi della tecnologia, è relativa-
mente recente ed ha trovato da qualche anno anche un riscontro
nel mercato consumer incontrando un ampio interesse. Alcuni
dei dispositivi oggi più venduti (come la console Wii della Ni n-
tendo, o il telefono iPhone di Apple) hanno come particolarità
principale questa modalità di input più naturale, sebbene il mo-
dello di interfaccia sia ancora quello del controllo diretto.
Da un punto di vista tecnologico, il sensing comprende
l’utilizzo di molteplici sensori che forniscono dati riguardo alle
diverse dimensioni fisiche, le quali possono essere rilevate in
prossimità di un artefatto interattivo. Esiste un gran numero di
sensori elettronici, il cui sviluppo è avvenuto soprattutto nei
INTERAZIONE NATURALE 43

campi industriali della robotica, dell’automazione e
dell’ispezione automatica. La tabella 2 tenta di elencare quei
sensori che possono essere utili nel contesto degli artefatti inte-
rattivi, quando questi vengono usati in un ambiente fisico condi-
viso.
Sensore Informazione
Video Camera
raggruppati in tre diverse categorie:
44 INTERAZIONE NATURALE
Algoritmi di elaborazione, azioni dirette/indirette,
comportamenti negli spazi e a
contatto con le superfici.
Touch Capacitivo Prossimità a corto raggio di oggetti, tocco
Pressione tocco, pressione, peso
Accelerometro
Distanza infrared
o ultrasonica
Manipolazioni, gesti cinetici
Prossimità a medio raggio
Tabella 2. Tipi di sensore ed informazioni fornite
Ogni sensore ha un diverso modo di fornire I proprio dati, in
termini di diversa risoluzione, scala, tolleranze ed errori. Alcuni
sono in grado di fornire dati discreti con un alto valore di certez-
za, mentre altri (come le telecamere) sono ottime nel trasmettere
molti dati parallelamente come input di sistemi di elaborazione
ed interpretazione basati su algoritmi. Se si considera
l’architettura dei sensori come un’unica entità, deve essere appli-
cata una logica generale per astrarsi dalle singolarità e dalle ca-
ratteristiche di ogni sensore, al fine di creare un modello omoge-
neo di eventi che possa servire agli stadi più ad alto livello
dell’interazione.
Gli eventi discreti che vengono forniti dai sensori possono essere

Presenza: questi dati normalmente vengono acquisiti con
un alto livello di rumore, il che significa che non possono
essere interpretati direttamente come espressioni umane.
Ciò nonostante, essi riportano una stima dell’attività che
avviene all’interno di una certa area spaziale e possono
essere utilizzati, per esempio, per decidere se qualcuno si
sta avvicinando all’artefatto interattivo (ed eventualmente
stimare il numero di persone).
Comportamento: proporzionalmente con l’aumento del
livello di certezza delle letture effettuate (grazie anche al-
la combinazione di diversi sensori), i dati possono essere
monitorati per un certo tempo e fornire informazioni sul
comportamento di un singolo o di un gruppo di utenti.
Questo tipo di dato è utile per determinare per quanto
tempo un utente rimane vicino all’artefatto, o il suo livel-
lo di attenzione.
Attività: questo tipo di dati è considerato “certo” ed è in-
terpretato come una chiara intenzione dell’utente di con-
trollare gli elementi dell’interfaccia. Anche a questo li-
vello, grazie alle varie sfumature fornite da diversi tipi di
sensori, l’interpretazione può andare molto oltre al rico-
noscimento di eventi discreti. Nel caso di superfici inte-
rattive può essere stimato il tipo di “tocco”, prendendo in
considerazione anche la pressione, la velocità e la distan-
za delle mani dalla superficie. Diventa possibile, per e-
sempio, individuare la differenza tra un lieve sfioramento
o una forte pressione.
I sensori possono essere disseminati nell’ambiente, inseriti
all’interno degli artefatti o anche indossati dall’utente. Per i si-
stemi ad interazione naturale l’ultima opzione non è preferenzia-
le, anche se questo vincolo può essere rilassato in alcuni scenari
INTERAZIONE NATURALE 45

sociali. Per esempio, nella maggioranza delle aziende i lavoratori
indossano badge di identificazione; questi oggetti possono essere
utilizzati per far sì che gli artefatti interattivi riconoscano chi si
sta avvicinando.
Per gli ambienti co-locati, forse il posizionamento più utile
dei sensori è all’interno degli artefatti. In questo modo
l’ambiente può rimanere flessibile, le strutture possono essere
spostate e lo spazio riconfigurato conservando le loro diverse a-
ree interattive (vedere a riguardo la sezione 4.2.3 a pagina 134).
46 INTERAZIONE NATURALE

3.2 Interfaccia e Presentazione
Dopo questa introduzione sui sensori occorre analizzare an-
che il livello di elaborazione che si prende cura di orchestrarli
come se fossero un unico insieme. Questo non riguarda tanto il
livello del signal processing sul singolo sensore, che viene a-
stratto a dati di livello più alto. Riguarda invece il modo in cui
questi dati vengono trasformati in un feedback di qualche genere
dagli attuatori che sono presenti sull’artefatto, e anche il modo
in cui l’utente reagisce alla loro manifestazione.
Gli attuatori sono altri dispositivi che gestiscono la fase di
output: possono essere display, sistemi audio, superfici con feed-
back tattile, ologrammi o altro. Se in scenari come i musei o le
installazioni d’arte, anche semplici forme di stimolazione (luce e
suono) possono essere miscelate per trasmettere una sensazione
o per catturare l’attenzione dell’utente, in uno spazio basato sulla
condivisione della conoscenza, dove il ruolo dei media digitali è
predominante, il canale comunicativo più usato rimane sicura-
mente quello visuale, e quindi l’attuatore per eccellenza è il vi-
sual display.
Nelle GUI tradizionali solo ciò che avviene “all’interno dello
schermo” può essere oggetto di analisi da parte del sistema. Le
interfacce moderne raccolgono dati sull’utente e sull’uso che egli
fa dei vari elementi visuali, nell’intento di divenire predittive nei
suoi confronti e suggerire nuovi dati, modalità e scorciatoie.
Questo tipo di context awareness (Dey, Kortuem, Morse, &
Schmidt, 2001) è sicuramente ciò che viene apprezzato dagli u-
tenti nelle interfacce desktop e web di oggi.
INTERAZIONE NATURALE 47

Le interfacce naturali (NUI) 1 possono estendere la loro pre-
dizione ad una mole molto maggiore di dati che provengono dai
sensori, dove è l’artefatto interattivo che cerca di capire cosa ac-
cade “aldilà dello schermo”. Inoltre, a differenza delle interfacce
tradizionali dove il layout dell’informazione è totalmente indi-
pendente dal luogo fisico in cui il dispositivo è installato ed uti-
lizzato, gli artefatti interattivi possono tenere in conto la loro po-
sizione nell’ambiente e ciò che sta accadendo attorno.
Un’assunzione nelle NUI è che gli elementi digitali non sono so-
lo delle rappresentazioni di dati, ma sono parte stessa
dell’ambiente e per questo motivo devono anch’essi seguire ca-
noni estetici. Queste linee guida si applicano sia alla natura pret-
tamente grafica degli elementi, sia ai livelli di interazione che
questi forniscono.
Come prima regola gli elementi digitali devono compor-
tarsi come gli oggetti fisici. Proseguendo questa analogia, il
display grafico diviene un reale spazio e quindi deve fornire la
stessa affordance di una normale superficie.
Se avviene un cambiamento degli elementi grafici, ciò deve
accadere in una maniera fluida, senza brusche interruzioni come
invece accade seguendo un hyperlink in una pagina web. I mo-
delli di forza e movimento usati nelle transizioni devono assomi-
gliare a quelli del mondo reale: gravità, forze di accelerazione,
momento ed attrito. Lo stesso concetto viene esteso ad altre tran-
sizioni, come l’apparizione e la sparizione. Gli oggetti in questo
caso devono svanire lentamente sullo sfondo, o muoversi al di
fuori dell’area visibile. In questo modo l’utente può rendersi con-
to di ciò che sta avvenendo senza sentirsi disorientato, e grazie a
1
NUI: Natural User Interface, recentemente adottata come identificativo standard
del nuovo modo di concepire le interfacce anche dalla stessa Microsoft
48 INTERAZIONE NATURALE

questi indizi visuali può applicare la propria predizione e quindi
aumentare il grado di soddisfazione nell’uso dell’interfaccia.
Questo ultimo aspetto è fondamentale nelle interfacce nat u-
rali condivise, in quanto il modello di controllo di quelle tradi-
zionali, che richiede una conferma per proseguire in ogni azione,
non può essere utilizzato. Un messaggio di popup infatti bloc-
cherebbe l’intera interfaccia per più utenti, occupando spazio ed
inibendo le azioni degli altri. Invece ogni azione deve essere e-
seguita direttamente ed istantaneamente. Le caratteristiche visua-
li dell’oggetto devono gradualmente cambiare sotto l’influenza
dell’azione, in questo modo l’utente può accorgersi in tempo di
ciò che sta accadendo ed eventualmente può interrompere
l’operazione.
Un’ulteriore linea guida per il design delle NUI è la legge-
rezza. In tutte le interfacce visuali esiste un conflitto tra il livello
dei contenuti che appartengono al dominio dell’applicazione
(multimedia) ed il livello degli elementi di interfaccia (etichette,
menu, bottoni). Nelle NUI questo è ancora più vero. La regola di
base è che lo spazio è per i contenuti, mentre ogni altro elemento
non fa altro che rubare attenzione all’utente e distoglierlo dal suo
obiettivo. Per questo motivo il livello degli elementi grafici va
tenuto ristretto ad un esiguo numero di simboli contestuali a ciò
che sta avvenendo, senza oggetti globalmente e perennemente
visibili. Se servono azioni globali (come la chiusura di
un’applicazione o lo scrolling dell’area visibile), queste devono
essere tradotte in gesti e portate sul livello dell’interazione conti-
nua.
INTERAZIONE NATURALE 49

3.3 Superfici Interattive
Tra tutte le possibili interfacce sviluppabili seguendo i cano-
ni dell’ Interazione Naturale, alcune modalità risaltano per le lo-
ro caratteristiche di immediatezza e facilità nell’integrarsi con gli
ambienti e i flussi di lavoro già esistenti. Tra queste, i tavoli inte-
rattivi furono tra i primi artefatti sviluppati e studiati seguendo
gli emergenti frame work sull’interazione tangibile e sul rappor-
to che intercorre tra bit e atomi (Wellner, 1993) (Ishii & Ullmer,
1997), e sono da circa due anni al centro dell’attenzione per
quello che è considerato il futuro dell’interazione con i contenuti
digitali
Prima di parlare di “tavoli” occorre definire l’insieme a cui
questi appartengono, quello delle superfici interattive definite in
questo modo da Ishii:
“le superfici interattive sono la trasformazione di una super-
ficie nello spazio architetturale (muri, finestre, scrivanie..) in
una interfaccia attiva tra il mondo fisico e quello virtuale” (Ishii
& Ullmer, 1997)
Una definizione molto ampia che sicuramente pone
l’attenzione sullo strato che separa i due mondi e suggerisce che
a questo livello è presente sia il meccanismo di sensing (princi-
palmente basato sul tocco ed in grado di rilevare gesti di più u-
tenti ed oggetti) sia quello di presentazione visuale, creando una
relazione diretta tra l’oggetto grafico digitale e le sue dimensioni
spaziali e fisiche.
INTERAZIONE NATURALE 51

3.3.1 Evoluzione delle Superfici Interattive
Sebbene le prime interfacce per computer basate sul tocco ri-
salgano ai primi anni 70, il vero interesse in questa modalità di
interazione si è sviluppato durante gli anni 80. Concorrentemente
con lo sviluppo della tecnologia touch-screen resistiva e capaci-
tiva, che consente l’individuazione di un singolo punto di contat-
to, comparirono presto diversi tentativi di realizzare superfici
multi-tocco, che potessero rilevare il contatto di più dita e quindi
anche di più utenti contemporanei. Nei laboratori della Bell Labs
e nelle università di Toronto e di Carnegie Mellon apparivano i
primi dispositivi multi-touch, spesso in un formato accoppiabile
ai display dell’epoca (McAvinney, 1986) (Buxton & Myers,
1986). L’enfasi di questi lavori era tutta sull’architettura di sen-
sing, basata su sensori elettromagnetici ed ottici, mentre
l’interfaccia visuale non era ancora considerata il focus principa-
le.
Figura 8. Primi prototipi di dispositivo multi-tocco
I primi esempi di tecnologia multi-tocco che posero l’enfasi
sulla produttività furono DigitalDesk presso la Xerox Europarc e
ActiveDesk presso l’università di Toronto. La prima (Wellner,
The DigitalDesk Calculator Tactile manipulation on a desktop
display, 1991) investigò la traslazione di un’attività semplice
52 INTERAZIONE NATURALE

(l’uso di una calcolatrice) attraverso un’interfaccia digitale che
poteva individuare i movimenti delle mani tramite una telecame-
ra, la seconda (Buxton B. , 1997) si spinse più sulle diverse mo-
dalità di input bi-manuale utilizzando sia mani che altri strume n-
ti, come le penne, investigando la relazione tra i diversi elementi.
Figura 9. DigitalDesk (sinistra) e ActiveDesk (destra)
Una sintesi di questi primi approcci, ed una considerevole
pietra miliare nella ricerca in questo settore, è MetaDesk svilup-
pata presso il MIT (Ullmer & Ishii, 1997). Ishii introdusse di fat-
to il concetto di interazione tangibile, e mostrò una grande quan-
tità di concetti e modalità che rendevano possibili nuove combi-
nazioni tra mondo digitale e fisico. L’importanza delle metafore
divenne fondamentale per individuare il ruolo degli oggetti e mi-
gliorarne l’affordance.
Figura 10. MetaDesk di Ullmer e Ishii
INTERAZIONE NATURALE 53

Con l’inizio del nuovo millennio l’attività di ricerca attorno
alle superfici interattive su intensificò, lavori come SenseTable
(Patten, Ishii, Hines, & Pangaro, 2001) del MIT Media Lab mo-
strarono una maturità nell’adozione delle tematiche
dell’interazione tangibile e nuove intuizioni ingegneristiche. Il
focus si spostò gradualmente sulle applicazioni di collaborazio-
ne, e crebbe l’interesse di produttori come Mitsubishi MERL nel
realizzare piattaforme che potessero essere usate per lo sviluppo
di prodotti commerciali come DiamondTouch (Dietz & Leigh,
2001).
Figura 11. Il dispositivo DiamondTouch capace di rilevare l’identità
Questo dispositivo, introdotto nel 2001, è il primo ed unico a
poter individuare oltre ai punti di contatto delle mani di diversi
utenti, anche l’identità di chi interagisce con la superficie, trami-
te un ingegnoso utilizzo della radiofrequenza e del corpo umano
come mezzo di trasmissione dei dati. Questo principio fu utiliz-
zato quasi contemporaneamente nel progetto SmartSkin di Re-
kimoto (Rekimoto, 2002). Successivamente, il miglioramento
nelle prestazioni dell’hardware e del potere computazionale delle
54 INTERAZIONE NATURALE

CPU, permise una più larga applicazione di tecniche di computer
vision per realizzare l’interattività. Un ottimo esempio è reacTa-
ble (Jordà, Kaltenbrunner, Geiger, & Bencina, 2005), un tavolo
interattivo che utilizza telecamere e simboli fiduciali per traccia-
re oggetti fisici sulla superficie, realizzando in questo modo un
ambiente per la composizione musicale collaborativa.
Figura 12. ReacTable per la composizione musicale collaborativa
Nel 2003 il laboratorio CLIPS-IMAG presentò un tavolo in-
terattivo chiamato MagicBoard (Bérard, 2003) basato su compu-
ter vision con funzioni avanzate di editing di sketch e disegni.
Questa brillante implementazione aveva anche un forte orienta-
mento verso il miglioramento della creatività di gruppo, oltre che
algoritmi di computer vision più sofisticati per tracciare le dita
dei partecipanti e oggetti speciali.
INTERAZIONE NATURALE 55

Figura 13. MagicBoard, una dei primi progetti per il supporto alla
creatività di gruppo.
Nel 2004 un’azienda francese, la JazzMutant, promosse un
piccolo multi-touch screen integrato con una libreria di interfac-
cia utente ed un software driver per pilotare strumentazione mu-
sicale: il Lemur. La tecnologia alla base di questo oggetto è di-
venuta ultimamente il core business dell’azienda (ridenominata
Stantum) ed è implementata in un crescente numero di dispositi-
vi. Il principio di funzionamento è l’interpretazione dei segnali
elettromagnetici rilevati sovrapponendo più strati di touchscreen
capacitivi; questa strada permette una grande robustezza, ma è
abbastanza dispendiosa e quindi non applicabile a superfici mol-
to ampie.
56 INTERAZIONE NATURALE
Figura 14. Multi-touch wall di Jeff Han

Una pietra miliare nello sviluppo delle superfici interattive
multitouch è stata posta nel 2005 da Jeff Han (Han, 2005), un ri-
cercatore dell’università di New York, il quale dimostrò che
sfruttando un esistente principio ottico (FTIR) ed algoritmi di
computer vision era possibile creare superfici interattive di qual-
siasi forma e grandezza. Il lavoro di Jeff Han è particolarmente
interessante anche nell’ambito della presente ricerca, in quanto
gran parte delle intuizioni e sperimentazioni iniziali erano state
intraprese anche dal sottoscritto pochi mesi prima della pubbli-
cazione e sono alla base dello sviluppo del progetto tabulaTouch
(sez. 4.2 pag. 90). La reale novità del lavoro di Jeff Han è stata
rappresentata dalla condivisione con la comunità di ricerca dei
fondamenti ingegneristici per realizzare superfici interattive.
Questo generò subito un enorme interesse, e si crearono varie
comunità di ricercatori (sia accademiche, che amatoriali) dedica-
te a nuove sperimentazioni della tecnologia. Han introdusse però
anche un altro elemento: mostrò degli eccellenti prototipi di in-
terfaccia utente di nuova concezione, e di fatto dimostrò al mon-
do che attraverso l’utilizzo naturale delle proprie mani come di-
spositivo di interazione si poteva essere più veloci, efficienti e
creativi.
Il contributo di Han risvegliò anche l’interesse dei grandi
produttori, oltre a quello dell’accademia. Aziende come Apple
iniziarono a brevettare principi, tecniche ed elementi di interfac-
cia per il mondo del multi-touch, arrivando ad introdurre nel
2007 il primo dispositivo mobile basato su tale tecnologia:
l’iPhone. Anche la rivale Microsoft si è recentemente lanciata
sullo stesso segmento di mercato, riprendendo lavori di ricerca
precedenti sulle superfici interattive e creando un nuovo gruppo
per lo sviluppo di prodotto.
INTERAZIONE NATURALE 57

Figura 15. I prodotti multi-touch di Apple (iPhone) e Microsoft
(Surface)
Microsoft Surface è un tavolo interattivo nel formato di un
tavolino da caffè, con uno schermo di 30 pollici ed
un’architettura interna capace di rilevare sia i gesti degli utenti
sulla superficie, sia la forma degli oggetti appoggiati. Inoltre,
come nel caso di reacTable, Surface riconosce particolari simboli
fiduciali ed è così in grado di associare contenuti digitali ad og-
getti fisici. Surface, presentata sempre nel corso del 2007, ha
rappresentato l’omologazione da parte della più grande realtà di
informatica del mondo di una tecnologia e di un segmento di
mercato definito “multimiliardario” da Steve Ballmer, CEO della
società. Oggi una sempre maggiore comunità di sviluppatori
commerciali attende gli sviluppi e la disponibilità di tale piatta-
forma, per iniziare a produrre applicazioni multi-tocco e multi-
utente destinate al grande pubblico consumer.
3.3.2 Efficienza vs Collaborazione
Grazie a questa panoramica sull’evoluzione delle superfici
interattive è possibile raggruppare i vari progetti di ricerca ed i
prodotti in base a differenti criteri. Un prima osservazione rivela
58 INTERAZIONE NATURALE

che molti di questi progetti sono soprattutto dispositivi multi-
tocco, ovvero sono tecnologie incentrate sullo strato di sensing
dell’interfaccia e sono stati sviluppati con un’ottica orizzontale
rispetto alla loro applicabilità. Questo significa che, come per il
mouse, la tastiera, il trackball o altri dispositivi più tradizionali,
il focus dei ricercatori è stato più direzionato all’efficienza, alla
velocità ed alla robustezza della modalità di immissione dei dati.
Soprattutto per i prodotti commerciali, l’aspettativa è quella di
un’ampia adozione da parte di più settori, e quindi maggiori
vendite.
Il vantaggio di un dispositivo multi-tocco è quello di riuscire a
sfruttare la coordinazione mentale e motoria dell’essere umano,
permettendogli di divenire più espressivo e veloce nello svolgere
determinati compiti.
Un’analogia interessante può essere fatta con un oggetto
come il Soroban giapponese (figura 16), il noto abaco che i
commercianti di quel paese ancora utilizzano per fare i conti ve-
locemente durante le compra-vendite nei mercati.
Figura 16. Il Soroban, design orientato all’efficienza.
Grazie ad un design totalmente orientato verso l’efficienza, il
Soroban permette di fare calcoli basilari ad una velocità che, nel-
le mani di un espero utilizzatore, è maggiore che utilizzando una
INTERAZIONE NATURALE 59

calcolatrice elettronica. Il segreto di questa velocità è proprio
nella coordinazione mente-mani. Dopo una fase di apprendimen-
to che può essere anche lunga, l’utente non deve più pensare ad
ogni singolo passaggio, ma è intuitivamente portato a ripetere dei
pattern che, in quell’oggetto, vengono direttamente traslati in o-
perazioni matematiche corrette. In questo modo, l’utente legge la
soluzione alla fine.
Tornando al mondo dei dispositivi multi-tocco, l’enfasi
sull’efficienza porta ad interfacce specialistiche, che fanno uso di
configurazioni non necessariamente intuitive e naturali (un e-
sempio molto esplicito di questo è G-Speak di John Underkoffler
(Underkoffler, 2008)) ma permettono a chi le sa usare di rag-
giungere velocemente il risultato.
Osservando il resto dei progetti che non hanno questa carat-
teristica, viene naturale raggrupparli in base ad un altro criterio:
quello dell’orientamento alla Collaborazione. E’ stato preceden-
temente detto che tradizionalmente i tavoli e le superfici di gran-
di dimensioni sono gli strumenti preferenziali per lavorare as-
sieme ad un’attività. In effetti, molti dei progetti introdotti parto-
no dal presupposto di voler facilitare la collaborazione e la con-
divisione del lavoro di un piccolo gruppo di persone nello stesso
luogo, e considerano la tecnologia multi-tocco un elemento fon-
damentale per realizzare questo obiettivo.
In questi casi l’interfaccia non è caratterizzata da un lin-
guaggio specialistico di gesti e configurazioni, al contrario è
mantenuta il più possibile semplice ed intuitiva, quindi naturale.
Il raggruppamento rispetto a questi due criteri, Efficienza e Col-
laborazione, porta al seguente grafico:
60 INTERAZIONE NATURALE

Figura 17. Raggruppamento delle superfici interattive sui criteri
dell’efficienza ed orientamento alla collaborazione.
E’ interessante osservare come il partizionamento sia piutto-
sto netto. I primi approcci hanno studiato soprattutto il mondo
delle superfici interattive come dispositivo in opposizione a
mouse e tastiera, solo successivamente e grazie ai buoni risultati
precedenti è nato l’interesse verso la facilitazione degli scenari
collaborativi Faccia-a-Faccia. Un’ultima interessante constata-
zione è che Microsoft Surface si trova al centro del diagramma, a
testimonianza che si tratta di un prodotto commerciale orizzonta-
le, la cui promessa è quella di divenire il primo di una nuova
piattaforma di computing basata su un innovativo sistema di in-
terazione.
INTERAZIONE NATURALE 61

3.4 Interfacce Tangibili
Lo scenario collaborativo faccia-a-faccia che è di interesse
principale per il presente lavoro di ricerca è fortemente centrato
sulla gestione, l’accesso e la manipolazione delle informazioni e
dei contenuti digitali, e questo è il motivo per cui le interfacce
naturali sono state alla base dell’investigazione.
Sicuramente, le nuova opportunità offerta da una tecnologia di
sensing capace di realizzare superfici interattive, combinata con
un utilizzo non convenzionale dell’interfaccia grafica, può gesti-
re gran parte della complessità nello scenario co-locato. Occorre
comunque considerare anche casi in cui l’espressività delle inter-
facce basate solamente sui gesti non sia sufficiente a coprire tutte
le esigenze.
Il vocabolario di gesti naturali con un significato comune at-
traverso le differenti culture è abbastanza limitato; solitamente i
gesti più intuitivi possono essere mappati direttamente sulle a-
zioni comuni del linguaggio di interazione (spostare, ruotare, at-
tivare etc.). Oltre a questo argomento, occorre anche considerare
che ogni informazione/contenuto prodotto dal lavoro di un singo-
lo o di gruppo deve poter essere trasportato da un contesto inte-
rattivo ad un altro. Un utente deve essere in grado di utilizzare lo
stesso contenuto digitale su diversi oggetti dotati di funzioni a-
vanzate, ognuno avente un particolare scopo per la collaborazio-
ne e la produzione di gruppo. Sebbene sia sempre possibile uti-
lizzare il livello dell’interfaccia grafica per presentare diverse
opzioni (in questo caso il trasferire dati) questa soluzione è piut-
tosto contro-intuitiva in uno spazio fisico condiviso. Tale ap-
proccio, infatti, introdurrebbe nuova complessità nelle interfacce
INTERAZIONE NATURALE 63

e soprattutto indebolirebbe l’affordance dell’ambiente aumentato
considerato nella sua totalità.
La soluzione più semplice per mantenere l’affordance dello
spazio fisico sembra proprio l’utilizzo di oggetti reali come in-
carnazione di contenuti digitali. L’utente, avvicinando questi
oggetti speciali in prossimità dei contesti interattivi e poi mani-
polandone le dimensioni fisiche, può stabilire una relazione di-
retta ed accedere alle funzionalità estese che i contesti fornisco-
no.
La letteratura sulle interfacce tangibili (TUIs) nasce con i
progetti di Hiroshi Ishii e si sviluppa attraverso una grande vasti-
tà di scenari. Il termine tangibile infatti, pur conservando un e-
splicito riferimento al mondo fisico in opposizione a quello digi-
tale, viene accoppiato al termine interazione per indicare molti
modelli di interfaccia anche distanti tra di loro. Troviamo inter-
facce afferrabili 2 , dove uno o più elementi sono oggetti fisici in-
vece che visuali (chiamati phicons ovvero: icone fisiche), ma an-
che applicazioni full body in cui l’intero corpo dell’utente è uti-
lizzato per pilotare particolari i aspetti. Recentemente alcuni ri-
cercatori (Fishkin, 2004) (Hornecker & Buur, 2006) hanno pro-
dotto tassonomie dell’interazione tangibile (riassunte in tabella
3), con lo scopo di individuare i diversi temi, stili e scenari in cui
usare questo tipo di interfacce.
Tema Caratteristiche
Tangible manipulation
Spatial Interaction
Embodied Facilitation
2
In inglese vengono chiamate “Graspable Interfaces”
64 INTERAZIONE NATURALE
Manipolazione fisica e caratteristiche
tattili e aptiche degli oggetti.
Movimento nello spazio
Configurazione degli oggetti e loro

Expressive Representation
Impatto sulle dinamiche di gruppo
Focus sull’espressività fisica e digitale.
Tabella 3. Temi dell’interazione tangibile
Per la collaborazione nell’ambiente condiviso, i temi più utili
sono quelli della tangible manipulation e della embodied facilita-
tion. A tale riguardo l’oggetto tangibile può ricoprire diversi ruo-
li, come spiegato nelle successive sezioni.
INTERAZIONE NATURALE 65

3.5 Interactive Furniture
Dopo aver introdotto gli elementi alla base dell’interazione
naturale e delle interfacce condivise è possibile dettagliare quali
siano le più comuni implementazioni di oggetti interattivi. Nel
fare questo si vuole comunque tenere conto del contesto di uti-
lizzo spaziale e collaborativo parlando di Interactive Furniture,
ovvero il “mobilio interattivo” che si può trovare all’interno di
spazi per la costruzione condivisa di conoscenza. Alcuni degli
artefatti interattivi elencati di seguito sono stati utilizzati dalla ri-
cerca HCI negli ultimi anni, che ha cercato di definire dei fra-
mework per la facilitazione supportata dalla tecnologia dei pro-
cessi creativi di gruppo. Altri artefatti invece sono stati introdotti
solo recentemente e stanno ricevendo ora un interesse crescente
sia dalle comunità accademiche sia da quelle amatoriali.
3.5.1 Lavagne Interattive
Le lavagne interattive esistono da circa 10 anni e furono ide-
ate per divenire l’elemento tecnologico comune per le aule del
futuro in contesti educativi e di formazione. La loro principale
funzione è quella di portare un nuovo livello di interattività con i
dati digitali nello scenario della lezione frontale. Proprio negli
ambiti educativi (soprattutto in nazioni che le hanno adottate da
tempo come la Gran Bretagna) è risaputo che pochi sono stati i
casi di successo. Al di là di alcune interessanti implementazioni,
le lavagne interattive hanno trovato molta resistenza nelle scuole
INTERAZIONE NATURALE 67

dopo la fase di adozione e training. Recenti report (Rudd, 2007)
illustrano come il concetto della lavagna sia molto legato al mo-
dello educativo e di trasferimento della conoscenza, mettendo il
maestro o il formatore al centro della lezione. Questo porta gli
strumenti ad essere utilizzati in modalità non propriamente col-
laborativa: l’educazione primaria, o il training passo-per-passo.
L’interattività promessa dalla tecnologia rimane un po’ offuscata
dallo scenario in cui essa viene inserita: normalmente l’audience
è in uno stato passivo/ricettivo ed è solo un utente alla volta ad
utilizzare la superficie interattiva. Esistono inoltre dei fattori er-
gonomici di base da considerare: una superficie grande abba-
stanza per essere vista da un gruppo di persone numeroso è spes-
so troppo estesa per un’interazione diretta tramite il tocco delle
mani o penne digitali.
Anche sul fronte del software, le applicazioni che oggi ven-
gono usate sulle lavagne interattive sono normali programmi
pensati per il desktop computing, e quindi utilizzano le tradizio-
nali metafore WIMP 3 per l’interfaccia utente. La tecnologia delle
lavagne interattive riflette questa visione, essendo in grado di ri-
levare di solito solo un punto di contatto (e quindi di sostituirsi a
dispositivi come il mouse). Ultimamente, l’esigenza di una mag-
gior espressività nell’interazione ha fatto si che alcuni produttori
producessero lavagne in grado di rilevare due punti di contatto 4 ,
aprendo la strada all’utilizzo collaborativo e ad azioni che coin-
volgono due mani dello stesso utente.
3
WIMP: Acronimo per Windows, Icons, Mouse e Pointer. La metafora del
desktop computing alla base dell’interfaccia sui sistemi operative moderni, come
Microsoft Windows o Apple Mac OS.
4
Sia la lavagna Hitachi FxDuo che la Promethean ActivArena permettono
l’utilizzo di due punti di contatto simultanei.
68 INTERAZIONE NATURALE

Le linee guida dell’interazione naturale, implementate
nell’interfaccia di questi dispositivi, possono riportare l’interesse
su questa tecnologia non estremamente innovativa ma oramai già
adottata in svariati contesti educativi ed aziendali.
3.5.2 Muri e Pannelli
Il concetto di un muro interattivo è sempre collegato al tema
delle superfici interattive verticali. In questo caso, la principale
differenza tra un muro ed una lavagna interattiva sta nella posi-
zione che esso può avere all’interno di un ambiente interattivo: i
muri possono essere usati come luoghi dove porre l‟informazione
ambientale per il gruppo di lavoro. E’ comune vedere i muri de-
gli ambienti condivisi tappezzati di elementi info-grafici, come
mappe e diagrammi collegati al lavoro in corso, o ad attività pre-
cedenti. Sono proprio questi elementi che rappresentano la vita e
la storia dell’ambiente di lavoro inteso come spazio per la con-
divisione della conoscenza, anche se la loro natura è inerente-
mente statica e spesso questi non vengono aggiornati frequente-
mente. Alcuni di questi muri sono ottimi candidati per divenire
display interattivi, in grado di fornire informazioni contestuali
per l’attività corrente.
Se le lavagne sono più legate alle attività di presentazione e
di modifica dei contenuti digitali, i muri interattivi sono preferi-
bili per l’esplorazione dei dati. Grazie ad una pre-selezione dei
materiali, l’ambiente di lavoro può essere trasformato in un itine-
rario di conoscenza che stimoli i partecipanti ad utilizzare questi
dati per la loro attività, aumentando la consapevolezza
dell’obiettivo comune. Le funzioni interattive di un muro sareb-
INTERAZIONE NATURALE 69

ero in questo caso la consultazione di mappe ed elementi mul-
timediali, utilizzando le mani come mezzo di interazione. I muri
sono più efficaci in una modalità touch-less (come rappresentato
in figura 18), ovvero senza contatto diretto delle mani degli uten-
ti con la superficie (contrariamente ad un touchscreen). Attraver-
so particolari sensori e tecniche di computer vision, è possibile
stimare la posizione della mano in un volume tridimensionale di
fronte al muro. In questo modo non solo la posizione bidimen-
sionale, ma anche la distanza dalla superficie interattiva, introdu-
cendo una nuova dimensione di input utilizzabile nelle applica-
zioni. Gli utenti possono “zoomare” su oggetti e zone avvicinan-
do la loro mano, mentre l’intero contesto visuale può essere rea-
lizzato con transizioni fluide e continue.
Figura 18. Muri Interattivi basati su modalità touchless (alto) e puntamento
(basso)
70 INTERAZIONE NATURALE

I muri interattivi divengono in questo modo l’elemento che
funge da periferia per lo spazio di condivisione della conoscenza,
e la loro funzione può essere estesa al di là della singola sessio-
ne. Nel diagramma dei diversi scenari di collaborazione essi pos-
sono divenire l’interfaccia preferenziale per il contesto co-locato
e asincrono
.
3.5.3 Tavoli Interattivi
Tra le implementazioni delle superfici interattive ci si riferi-
sce spesso ai tavoli in quanto questi sono oggetti della quotidi a-
nità con un’accezione molto legata alla collaborazione. In effetti
è proprio attorno a tavoli e scrivanie che piccoli gruppi di perso-
ne si incontrano ogni giorno per portare avanti atti vità di gruppo,
esprimere opinioni, visionare materiale ed in generale condivide-
re oltre al lavoro anche il contesto. Se queste attività sono molto
legate al mondo dei dati digitali, risulta chiaro il vantaggio in
termini di creatività che può derivare dall’introduzione di
un’interfaccia fondata su una affordance così comune ed intuiti-
va.
Come è stato spiegato in precedenza (sezione 3.3.1 pagina
52) la ricerca in questo campo, chiamata tabletop interaction, si
è evoluta rapidamente soprattutto in seguito al recente lavoro di
Han (Han, 2005) ed al successo ottenuto dalla condivisione dei
video dell’interfaccia su Internet. Si è quindi creato un largo in-
teresse sia a livello dei dispositivi multi-touch, sia a livello
dell’interfaccia utente: moderna, minimale, fluida e lontana dai
soliti paradigmi WIMP del desktop computing. Sebbene non esi-
stano linee guida generali, che nel campo delle interfacce sono
INTERAZIONE NATURALE 71

sempre state dettate dai prodotti commerciali di maggior succes-
so, esistono delle pubblicazioni (Scott, Grant, & Mandryk, 2003)
(Tse & Greenberg, 2004) (Ryall, Morris, Everitt, Forlines, &
Shen, 2006) che formalizzano i fattori fondamentali per
l’interazione degli utenti con i tavoli interattivi.
In un contesto collaborativo i tavoli danno agli utenti la pos-
sibilità di manipolare i contenuti anche ad un livello di dettaglio
fine, rendendo disponibile questo materiale per essere utilizzato
in altri contesti. Questo può essere realizzato usando un oggetto
tangibile che funge da trasportatore di informazioni, in questo
modo l’affordance dell’intero ambiente ricorda quello che può
avvenire in un laboratorio.
Figura 19. Tavolo InterattivoPhilips Entertaible
Un utilizzo diverso dei tavoli interattivi è ottenibile anche di-
saccoppiando lo strato di sensing (ovvero la superficie interatti-
va) da quello di presentazione, come rappresentato in figura 20.
Gli utenti possono utilizzare particolari oggetti appoggiandoli sul
72 INTERAZIONE NATURALE

tavolo, e vedere visualizzati gli elementi grafici su una diversa
superficie (per esempio uno schermo o un muro). In questo caso
non esiste una relazione diretta tra le posizioni degli oggetti fisi-
ci/digitali, ma una relazione concettuale che conserva alcune ca-
ratteristiche spaziali. Per esempio: appoggiando oggetti vicini tra
loro, l’applicazione può visualizzare una struttura visuale risul-
tante da una query che comprenda gli elementi utilizzati. La di-
sposizione fisica di questi può essere usata come suggerimento al
sistema per la sistemazione degli elementi grafici.
Figura 20. Superficie di sensing e visualizzazione disaccoppiate.
3.5.4 Oggetti Intelligenti
Il ruolo degli oggetti tangibili per l’interazione è stato già ri-
badito, e quello degli oggetti intelligenti è ancora più interessante
in quanto essi rappresentano un artefatto digitale trasportabile
all’interno di un contesto.
Un oggetto può essere considerato intelligente quando con-
tiene al suo interno una serie di sensori in grado di rilevare una
qualche forma di interazione con l’utente: come gesti e manipo-
INTERAZIONE NATURALE 73

lazioni. Questi dati vengono analizzati in tempo reale e possono
sia essere interpretati per generare feedback locale all’oggetto,
sia essere trasmessi agli altri artefatti interattivi nelle vicinanze.
Basandosi sulla prossimità dei contesti interattivi presenti,
l’oggetto può decidere di creare una connessione e divenire parte
del flusso di comunicazione, agendo come un dispositivo di in-
put specializzato oppure come un trasportatore di informazioni.
Per esempio, se un muro interattivo mostra un modello tri-
dimensionale della terra, l’oggetto intelligente può divenirne il
simulacro. Gli utenti possono ruotarlo nello spazio e vedere che
la terra ruota alla stessa maniera. Su un tavolo l’oggetto può di-
venire un manipolatore e modificare alcune proprietà di un con-
tenuto digitale come interpretazione di un gesto: rotazione come
una manopola, scuotimento per esplodere le informazioni colle-
gate etc. Un esempio di questo utilizzo è TViews sviluppato
presso il MIT (Mazalek, Reynolds, & Davenport, 2006), in figu-
ra 21. Gli oggetti intelligenti per gli ambienti di collaborazione
condivisi devono avere anche alcuni attuatori di base (come la
possibilità di emettere suono o vibrazioni) e un design neutrale
per far sì che la loro funzione possa cambiare in relazione al con-
testo al quale sono collegati.
Figura 21. Il sistema TViews con oggetti intelligenti usati sulla
superficie interattiva
74 INTERAZIONE NATURALE

Capitolo 4
Framework e Piattaforme di
interazione realizzate
Lo studio dello stato dell’arte sulle superfici interattive
all’inizio della ricerca ha rivelato che in questo campo esisteva
una difficoltà nel reperire hardware e dispositivi adatti alle spe-
rimentazioni. Solo alcune università ed enti di ricerca avevano
effettivamente accesso ad una tecnologia abbastanza avanzata (e
costosa) per realizzare tavoli e muri interattivi, di solito grazie
all’integrazione con il lavoro dei dipartimenti di elettronica, co-
me per esempio (Rekimoto, 2002). Nella maggior parte dei casi,
gli enti di ricerca interessati all’interaction design sul tabletop
facevano uso del dispositivo DiamondTouch della Mitsubishi
(Dietz & Leigh, 2001), creando software proprietario (Tse &
Greenberg, 2004) per la sperimentazione di nuovi paradigmi di
interfaccia grafica e gestuale.
Per quanto riguarda le interfacce basate su computer vision,
il precedente lavoro di tesi di laurea wikiWall è stato ripreso ed
ampliato nelle fasi iniziali del Dottorato, rifinendo gli algoritmi
di identificazione delle dita e delle mani degli utenti e finaliz-
zando un modulo di riconoscimento generico (FingerSensing).
Questo ulteriore lavoro ha evidenziato come l’interazione basata
unicamente sul riconoscimento delle dita da parte di una teleca-
mera dall‟alto fosse piuttosto limitata. Sebbene si riuscisse ad ot-
tenere una buona performance di riconoscimento e di tracking,
l’evento naturale del toccare la superficie non era facilmente i n-
PIATTAFORME REALIZZATE 75

dividuabile, costringendo alla costruzione di applicazioni che
simulassero tale azione tramite la persistenza di una certa posa
(un unico dito esteso, o più dita).
Questa osservazione ha portato l’autore a cercare altre strade
per costruire una superficie interattiva basata sul tocco e facente
uso di tecnologie di visione. Subito divenne chiaro che la solu-
zione cercata doveva essere caratterizzata da un utilizzo nuovo di
materiali esistenti, aventi determinate proprietà ottiche e fisiche.
Durante questo processo di acquisizione di dati l’autore si imbat-
tè in un progetto di design di Julian Appelius e Fabien Dumas, il
LightTable (Appelius & Dumas, 2001). In questo progetto, che
non aveva nulla a che fare con tematiche HCI, i due designer a-
vevano creato un tavolo di vetro illuminato da LED colorati.
Sfruttando un particolare effetto ottico ed alcuni materiali e-
spressamente selezionati, riuscivano ad ottenere che toccando la
superficie o appoggiandovi un oggetto si creasse in quella posi-
zione un alone di luce.
L’intuizione si presentò in questa forma: utilizzando una l u-
ce infrarossa (e quindi invisibile all’occhio umano) lo stesso ef-
fetto poteva essere usato per rilevare delle posizioni di contatto,
mentre la superficie stessa del tavolo poteva essere utilizzata per
proiettare un’interfaccia visuale. Questa intuizione è alla base
della piattaforma tabulaTouch descritta nelle successive sezioni,
sviluppata concorrentemente con il lavoro di (Han, 2005) che è
stato determinante per rendere la tabletop interaction accessibile
a molti ricercatori.
Durante il lavoro sui tavoli interattivi si presentò l’esigenza
di realizzare ambienti aumentati in cui non vi fosse un solo ele-
mento interattivo, ma più di un contesto, utilizzato da più utenti
contemporaneamente. Inoltre, l’osservazione sulle interfacce rea-
76 PIATTAFORME REALIZZATE

lizzabili con la piattaforma tabulaTouch, aveva evidenziato sia
una grande flessibilità nel poter realizzare applicazioni, sia i li-
miti che i pochi e semplici gesti naturali ponevano
all’espressività. Nella seconda parte dell’investigazione l’autore
si è spostato sulle interfacce tangibili (sez. 3.4 pag. 63), introdu-
cendo elementi fisici come parte dell’esperienza dell’interazione
con le superfici.
Invece di utilizzare oggetti passivi, come in approcci più tra-
dizionali, assieme al gruppo di ricerca si è scelto di utilizzare og-
getti intelligenti (sez. 3.5.4 pag. 73), dotati di sensori e di capaci-
tà di attuazione particolari. Questi oggetti hanno permesso la
creazione della piattaforma TANGerINE, il secondo progetto di
ricerca, e lo studio dell’interazione multi-contesto, come illustra-
to nella sezione 4.2.
Nelle successive sezioni verranno dettagliate le piattaforme
di interazione che sono state realizzate, iniziando con la model-
lazione del framework concettuale che è servito da guida durante
l’attività di ricerca.
PIATTAFORME REALIZZATE 77

4.1 Tabletop Interaction Framework
Come prima attività del Dottorato è stato effettuato uno stu-
dio della letteratura esistente in materia di superfici interattive.
Questa ricerca ha evidenziato che non esistevano dei modelli di
interazione specifici per la tabletop interaction, ma solo una col-
lezione di diverse tecniche riguardanti perlopiù il livello
dell’interfaccia utente. I temi dell’interazione tangibile, sebbene
siano più generali ed abbraccino modalità di interazione anche
distanti tra loro (si veda la sezione 3.4 a pagina 63), sono i più
vicini al questo tipo di interfacce.
Ishii illustrò infatti (figura 22) come nelle interfacce tangibili
il classico modello MVC (Model View Controller) (Burbeck,
1987) alla base della maggioranza delle interfacce moderne si
trasformasse in MCRpd ovvero: Modello, Controllo e Rappre-
sentazione Fisico-Digitale (Ullmer & Ishii, Emerging
frameworks for tangible user interfaces, 2001).
Figura 22. Il modello MCRpd per l’interazione tangibile
Il ruolo della presentazione viene sdoppiato e la parte fisica
di essa rimane accoppiata al livello del controllo, mentre la parte
digitale alla rappresentazione visuale del dato. Sulla base del
PIATTAFORME REALIZZATE 79

modello MCRpd è stato creato un framework specifico per
l’interazione sulle superfici verticali ed orizzontali, che evidenzia
in particolar modo le diverse possibilità e combinazioni degli e-
lementi fisici e digitali.
Il Tabletop Interaction Framewok (TIF) introduce due livelli
per i dati digitali ed uno per gli oggetti fisici, e modella le azioni
come appartenenti a sei categorie, tre delle quali sono fondamen-
tali mentre le restanti sono composizione delle precedenti.
Il livello sottostante ed invisibile è quello dei Dati. A
questo livello appartiene la rappresentazione interna degli
oggetti e degli eventi in forma digitale. È un livello che
non è ancora visibile a livello dell’interfaccia utente: per
esempio una base di dati.
Il livello intermedio è quello della Presentazione. I Dati
digitali del livello sottostante, ed ulteriori dati generati
dall’interazione con il livello fisico, vengono rappresen-
tati graficamente sulla superficie interattiva. Questo il li-
vello di confine tra i due mondi digitale/fisico.
Il livello soprastante è quello del Sensing. E’ il livello dei
sensori macchina che misurano e stimano gli eventi fisici
che accadono sulla superficie interattiva (o in prossimità
di essa). Questo è principalmente un livello di input, seb-
bene (attraverso particolari attuatori, se gli oggetti inte-
rattivi ne sono dotati) può divenire anche di output.
L’interazione tra i diversi livelli generano le azioni descritte
nelle successive sezioni.
80 PIATTAFORME REALIZZATE

4.1.1 Visualizzazione
L’azione di visualizzazione è la più
semplice e consta della creazione di una
rappresentazione grafica e visuale di
un’informazione presente nel livello dei
Dati.
Il colore azzurro denota un dato persi-
stente, che è già presente nella base dei
dati. Sulla superficie interattiva la posi-
zione e la dimensione di tale rappresen-
tazione è relazionata direttamente
all’ingombro fisico sul piano di visua-
lizzazione.
4.1.2 Rilevazione
L’azione di Rilevazione riguarda il
livello a contatto con il mondo fi-
sico: il livello di Sensing.
In questo caso, un oggetto posto a
contatto o in prossimità della su-
perficie sensibile, viene rilevato
dai sensori dell’artefatto interatti-
vo, che ne stimano una serie di
dimensioni fisiche dipendenti
dall’architettura (per esempio: po-
PIATTAFORME REALIZZATE 81

sizione, dimensione, peso, pressione etc.)
Nel livello dei Dati viene immagazzinata questo modello stimato
dell’oggetto reale, sotto forma di dato temporaneo, ovvero di-
pendente dalla presenza dell’oggetto fisico.
4.1.3 Feedback
L’azione di Feedback è la prima del-
le azioni composte: essa è la combi-
nazione di una Rilevazione con una
Visualizzazione.
L’oggetto rilevato viene dotato di
una rappresentazione visuale. In
questo caso la rappresentazione al
livello dei Dati è sempre un dato
temporaneo, nel senso che non è as-
sociata ad alcuna informazione pre-
sente tra gli oggetti di sistema. Un
esempio di questa azione è un “alo-
ne” luminoso che circonda un oggetto quando esso è appoggiato
sulla superficie sensibile. In questo caso la visualizzazione è ge-
nerica, può dipendere da alcune delle dimensioni fisiche
dell’oggetto, ma non prende ancora in considerazione l’identità
di questo.
82 PIATTAFORME REALIZZATE

4.1.4 Mapping
Nell’azione di Mapping, che è
fondamentale, avviene una varia-
zione rispetto al caso della Rileva-
zione.
L’oggetto fisico viene non solo
stimato e misurato, ma riconosciu-
to univocamente. In questo modo è
possibile associare (se presente) la
sua rappresentazione astratta con
un’informazione persistente a li-
vello dei Dati. Gli oggetti che sup-
portano questa azione sono dotati
di particolari sistemi di trasmissione dell’informazione (come un
chip a radiofrequenza RFID) oppure hanno alcune caratteristiche
visuali riconoscibili come nel caso dei simboli fiduciali (es: il
QRCode 5 ), ovvero speciali codici bidimensionali che possono
essere stampati su carta o altro materiale “usa e getta”.
response).
5 Codice a barre bidimensionale che supporta un’individuazione rapida (quick
PIATTAFORME REALIZZATE 83

4.1.5 Simulacro
Nell’azione composta Si-
mulacro, il mapping tra l’oggetto
fisico e quello digitale viene uti-
lizzato per effettuare una query
sul livello dei Dati, estraendo
una rappresentazione visuale u-
nivoca dell’oggetto rilevato. Tale
rappresentazione può comunque
essere multiforme, prendendo in
considerazione di volta in volta
aspetti diversi dell’oggetto anche
in base all’attuale contesto.
In questo ruolo, l’oggetto
tangibile diviene quindi la rappresentazione fisica di un contenu-
to digitale. Ciò può significare sia che esiste una relazione statica
e biunivoca tra i due elementi, sia che l’oggetto fisico diviene
una sorta di rappresentante temporaneo del dato digitale. Il se-
condo caso è il più comune, dato che normalmente esiste una di-
sparità nella quantità dei dati: i contenuti digitali sono in numero
molto maggiore rispetto agli oggetti fisici utilizzabili da un
gruppo di utenti. Divengono necessarie azioni di interfaccia che
permettano di accoppiare e disaccoppiare i due elementi a se-
conda delle necessità. Nel caso di oggetti tangibili utilizzati su
superfici interattive, queste azioni sono molto intuitive e preve-
dono l’avvicinamento fisico dei due elementi. L’oggetto tangibi-
84 PIATTAFORME REALIZZATE

le può divenire anche un contenitore per più di un dato, rappre-
sentando in questo modo un gruppo di contenuti.
Una variante di questo ruolo è quello di Avatar. In questo
caso l’oggetto diviene la rappresentazione dell’utente stesso, per
cui esiste una relazione 1-1 tra chi interagisce nello spazio fisico
e gli oggetti tangibili a disposizione. Per supportare il ruolo di
avatar l’applicazione deve prevedere casi in cui gli oggetti a di-
sposizione siano illimitati e pre-associati alle identità (come nel
caso di un badge identificativo) oppure limitati e legati al conte-
sto fisico. Questa seconda circostanza è comune quando si utiliz-
zano superfici interattive con oggetti tangibili posti sopra di esse.
Gli utenti, entrando nell’ambiente, devono esplicitamente pren-
dere il loro posto ed autenticarsi per utilizzare uno di questi og-
getti come loro identità temporanea.
Utilizzando l’oggetto tangibile con questo ruolo, l’utente può
spostarsi tra i vari contesti interattivi (altre superfici, altri am-
bienti) trasportando con sé le proprie informazioni di profilo. Il
ruolo di Avatar si presta ad essere multiforme, divenendo simu-
lacro o manipolatore all’occorrenza. Per esempio, se
l’applicazione richiede l’espressione di una preferenza condivisa
da parte di più utenti, l’oggetto può essere messo in prossimità
della scelta.
PIATTAFORME REALIZZATE 85

4.1.6 Manipolazione
L’ultima azione compo-
sta è quella di manipolazio-
ne. In questa azione sono
presenti tutti gli elementi: un
dato persistente dotato della
propria visualizzazione, ed
un oggetto fisico rilevato e
dotato di feedback grafico. Il
connubio tra i tre elementi, a
seconda del linguaggio di in-
terazione che si utilizza, è lo
stato iniziale di tutte le azioni
dell’utente sugli oggetti atti-
vi.
Nel ruolo di manipolatore l’oggetto tangibile rappresenta
una particolare funzione che può essere applicata ad un contenu-
to digitale. La metafora più semplice dal mondo reale è quella
dell’utensile: uno strumento adatto a modificare, attivare, rivela-
re aspetti di un’altra entità. In un’interfaccia ambientale, per e-
sempio una superficie interattiva, questo tipo di ruolo assume
un’importante scopo. Esso diviene un mezzo per ridurre la dispa-
rità quantitativa tra il numero di oggetti fisici e digitali: separan-
do il livello dei contenuti (che rimangono sull’interfaccia visua-
le) e quello delle funzioni (interfaccia tangibile) si riduce la com-
plessità visuale ed il carico cognitivo dell’applicazione. L’utente
percepisce che il piano della visualizzazione è solo per i dati di-
86 PIATTAFORME REALIZZATE

gitali, in questo modo anche l’affordance degli oggetti tangibili
viene facilitata (un ottimo esempio di questo ruolo si può trovare
in (Patten, Ishii, Hines, & Pangaro, 2001)).
PIATTAFORME REALIZZATE 87

88 PIATTAFORME REALIZZATE

4.2 La piattaforma FingerSensing
La prima piattaforma affrontata è stata FingerSensing, ovve-
ro un modulo di sensing che utilizza tecniche di computer vision
per riconoscere ed analizzare pose e gesti delle mani delle utenti
mentre questi interagiscono su un tavolo interattivo.
Tale piattaforma è stata inizialmente sviluppata durante la
tesi di laurea precedente al dottorato, per l’applicazione wiki-
Wall: un primo approccio alle mappe concettuali interattive con
un’interfaccia minimale, senza alcun uso di menu o elementi di
interfaccia WIMP (windows icons mouse pointer). Ogni azione
di modifica della mappa e dei suoi elementi è accessibile tramite
un linguaggio di gesti e pose riconosciute dal sistema, per questo
motivo è stata centrale l’applicazione di un robusto algoritmo di
finger detection sulle immagini catturate dalla telecamera posta
al di sopra del tavolo al quale seguono altri passi algoritmici che
forniscono il tracciamento di mani e dita ed individuano gli e-
ve nti di input del sistema.
Figura 23. wikiWall, prima applicazione facente uso di computer
vision percreare l’interattività sulla superficie del tavolo.
PIATTAFORME REALIZZATE 89

La versione iniziale della piattaforma (descritta in dettaglio
in (Baraldi, 2005)) prevedeva i seguenti step algoritmici:
1. Acquisizione delle immagini dalla teleca-
mera (320x240 pixel alla frequenza di
30fps)
2. Segmentazione dell’immagine per ottenere
foreground e background mask dove sono vi-
sibili le mani e le braccia degli utenti.
3. Algoritmo di Finger Recognition, basato su
(J.Letessier & F.Bérard, 2004).
4. Etichettatura e tracking delle dita.
5. Trasformazione omografica tra le coordina-
te della telecamera e quelle dello scher-
mo.
L’applicazione dell’algoritmo, sebbene abbia generato
un’interfaccia generalmente utilizzabile ha anche evidenziato
una bassa efficacia nel riconoscimento, distribuita su tutte le a-
zioni dell’applicazione, come mostrato in tabella.
Il tasso di successo individua quante volte un’azione viene
portata a termine con successo, calcolata su una media di 10 a-
zioni per tipo, ripetute su un campione di 15 persone.
azione Tasso di successo Durata dell’azione
creazione
concetto
creazione
relazione
spostamento
oggetto
Scrolling
mappa
90 PIATTAFORME REALIZZATE
79% 7.8
84% 6.3
89% 5.5
71% 6.8
Tabella 4. Tassi di successo di FingerSensing versione 1.

Dalle osservazioni effettuate è risultato che la maggior parte
dei casi di fallimento erano dovuti a falsi positivi dell’algoritmo
di riconoscimento, che rilevava dita e mani dove non c’erano.
Questo effetto si produceva soprattutto per gli errori nella seg-
mentazione, che produceva foreground mask imprecise, come
mostrato in figura 24.
Figura 24. Foreground mask ed applicazione di FingerSensing v1
Oltre alla punta delle dita, rilevate correttamente, è chiara-
mente distinguibile un falso positivo generato sul braccio dovuto
all’ombra del corpo. Per questo motivo l’algoritmo è stato rifini-
to introducendo un nuovo passo dopo il classificatore di dita.
4.2.1 FingerSensing versione 2
Il rifinimento dell’algoritmo è stato effettuato partendo dalle
dita rilevate ed applicando un riconoscimento delle mani basan-
dosi su un modello bidimensionale di una mano (figura 25). Un
insieme da uno a cinque dita è considerato una mano valida
quando si verificano le seguenti condizioni:
PIATTAFORME REALIZZATE 91

1. La dimensione della zona contenente le dita è minore
della massima distanza tra le dita estreme di una ma-
no (sperimentalmente rilevata attorno ai 50 pixel nel
setup dall’alto). (figura 25, sinistra)
2. Il massimo angolo tra tutti i vettori direzione delle di-
ta è minore di una soglia. Assumendo che una mano
aperta abbia al massimo 90° tra mignolo e pollice.
(figura 25, sinistra)
3. La regione del palmo della mano viene stimata e si
controlla che essa contenga almeno un 70% di pixel
di foreground, similarmente alla tecnica usata anche
per trovare le punta delle dita. (figura 25, destra)
Figura 25. Modello della mano per l’algoritmo FingerSensing v2
Partendo dalle dita individuate nelle fasi precedenti, i sot-
toinsiemi di dita che sono stati già etichettati come appartenenti
ad una mano vengono raggruppati, in questo modo anche le ma-
ni vengono tracciate frame per frame mantenendo invariato il lo-
ro identificativo. In ogni caso, le dita sono in continuo movimen-
to, quindi anche mani considerate valide in un frame devono es-
sere ricontrollate con i criteri di cui sopra.
92 PIATTAFORME REALIZZATE

Le dita che falliscono i controlli, e le nuove dita che non era-
no presenti nei frame precedenti, possono sia unirsi alle mani
presenti, sia essere classificate come appartenenti a nuove mani.
In particolare, per controllare la condizione 3 deve essere
stimata la zona della mano identificante il palmo. L’osservazione
applicata è stata che la lunghezza di un dito è 6 volte l’estensione
di un polpastrello nell’algoritmo precedente (in termini di pixel),
e che il raggio del palmo è la metà di questa lunghezza. In questo
modo il centro del palmo è approssimato ad una distanza di 3/2
la lunghezza del dito. La posizione di partenza dalla quale far
partire la misurazione è la media tra tutte le posizioni delle dita
rilevate.
Con queste variazioni il tasso di riconoscimento si è dimo-
strato maggiore, tranne che per un caso, quello delle mani con un
unico dito esteso. In questo caso la classificazione è debole poi-
ché i disturbi nell’immagini, o le ombre, possono generare molti
falsi positivi nella foreground mask. Le mani con un singolo dito
esteso hanno quindi bisogno di un’ulteriore validazione.
Figura 26. Validazione per mani con un singolo dito esteso.
Un controllo ulteriore viene introdotto prima di generare una
nuova mano: si ritengono valide solo quelle che presentano due
aree circolari, ad entrambi i lati del dito, che siano riempite da
pixel di foreground per meno del 25% (una misura stimata che
permette alle dita di altre mani di non essere rilevate). Se questo
PIATTAFORME REALIZZATE 93

avviene, la zona del palmo della mano viene stimata in maniera
differente da prima, considerando la zona circolare tangenziale al
vettore di direzione dell’unico dito. Questa zona viene cercata ad
entrambi i lati del vettore.
4.2.2 Risultati e Miglioramenti
Dopo l’introduzione dell’ulteriore fase di validazione è stato
ripetuto il test nelle condizioni precedenti, ottenendo i seguenti
risultati:
azione Tasso di successo Durata dell’azione
creazione
concetto
creazione
relazione
spostamento
oggetto
Scrolling
mappa
94 PIATTAFORME REALIZZATE
98% 6.7
94% 5.6
99% 5.2
82% 6.3
Figura 27. Tassi di successo di FingerSensing v2
Come è facilmente rilevabile, tutte le azioni sono migliorate
sia in termini di efficacia (tasso di successo) che di efficienza
(tempo per eseguire l’azione).

4.3 La piattaforma TabulaTouch
TabulaTouch è un tavolo interattivo multi-tocco, capace di
individuare la posizione delle dita di più utenti contemporanei. Il
lavoro è partito dalla realizzazione di un prototipo hardware, che
potesse essere utilizzato sia per la sperimentazione degli algorit-
mi di computer vision necessario al tracking, sia per la sperimen-
tazione di applicazioni per la condivisione di conoscenza come
tabulaGraph (sez. 5.2 pag. 149).
Le seguenti sezioni illustreranno il principio con il quale il
tavolo è realizzato ed i dettagli realizzativi della struttura di base
e del software che ne permette il funzionamento.
4.3.1 Principio di funzionamento
Il tavolo interattivo opera grazie a principi ottici e all’utilizzo
di sensori video (telecamera filtrata agli infrarossi) per vedere le
mani dell’utente che interagisce con la superficie.
Attraverso una lastra di materiale acrilico Plexiglas traspa-
rente viene incanalata una luce infrarossa prodotta da LED ad al-
ta potenza. Gli utenti, toccando la superficie sensibile (l’insieme
della lastra di plexiglas e delle ulteriori pellicole di cui è ricoper-
ta) creano un punto di diffusione (FTIR) che mette in evidenza il
polpastrello nella zona di contatto. Una telecamera filtrata otti-
camente per vedere solo la luce infrarossa, posta sotto tale super-
ficie, individua i punti e tramite un algoritmo di trattamento
dell’immagine e di calibrazione, questi divengono coordinate bi-
dimensionali X,Y.
PIATTAFORME REALIZZATE 95

Figura 28. Principio di funzionamento di tabulaTouch
Le coordinate mettono in relazione una zona fisica ed una
zona “logica”. La stessa superficie sensibile è infatti utilizzata
come zona per la visualizzazione dei contenuti, utilizzando un
proiettore digitale posto sotto alla superficie e vicino alla teleca-
mera.
4.3.1.1 FTIR
Il principio grazie al quale la luce può viaggiare all’interno
della lastra di acrilico è chiamato TIR, acronimo inglese di ri-
flessione totale interna. Esso è il principio alla base delle fibre
ottiche, ed in genere di ogni guida di luce.
Figura 29. Angolo critico ed indici di rifrazione per FTIR
96 PIATTAFORME REALIZZATE

Questo fenomeno si realizza quando un raggio di luce colpi-
sce un certo mezzo ad un angolo che è più ampio dell’angolo cri-
tico (rispetto alla normale della superficie). Quando l’indice di
rifrazione del mezzo i1 dove viaggia la luce è maggiore di quello
che sta all’esterno i2 (come per esempio accade tra il vetro e
l’aria), la luce si riflette internamente. L’angolo critico è
quell’angolo di incidenza al di sopra del quale si innesca il fe-
nomeno ed è definito come:
misurato rispetto alla normale della superficie di incidenza.
Come si può vedere, la funzione arcoseno è definita solo se il
rapporto
è minore o uguale a 1.
Se la guida di luce è pensata con una forma senza bruschi
cambiamenti di angolo (come una fibra ottica o una superficie
piana) allora il fenomeno della TIR si ripete continuamente, fino
all’esaurirsi dell’energia ottica o ad incontrare una zona di inci-
denza minore dell’angolo critico.
La caratteristica principale di questo effetto è che la luce che
si riflette internamente è effettivamente invisibile, essa diviene
manifesta solo al momento di diffondersi contro qualche corpo.
Per questo motivo si utilizzano come guida di luce materiali ad
altissima trasparenza, come vetri particolari, quarzi o il plexiglas.
PIATTAFORME REALIZZATE 97

Figura 30. Fenomeno FTIR al contatto delle dita con la lastra di
98 PIATTAFORME REALIZZATE
plexiglas dove viaggia luce infrarossa.
Il fenomeno della FTIR, che significa frustrated total inter-
nal reflection, avviene proprio quando si verifica una diffusione
nei pressi della superficie sulla quale la luce si riflette. Se un
mezzo di indice di rifrazione minore viene messo in contatto con
la guida di luce, in quel punto la luce riesce effettivamente ad
uscire e si diffonde contro il corpo a contatto. Il polpastrello di
una persona, avendo una certa umidità, ha un indice minore e
quindi è adatto a far diffondere la luce infrarossa che viaggia
all’interno della superficie di plexiglas (figura 30).
4.3.2 Implementazione fisica del prototipo
La struttura che ospita la superficie sensibile è stata pensata
per essere il più simile possibile ad un tavolo. In questo caso i
vincoli strutturali dipendono principalmente da due fattori:

Il posizionamento della telecamera (percorso ottico A in
figura 31), che deve essere ad una certa distanza dalla su-
perficie sensibile per poterla inquadrare nella sua totalità.
Il posizionamento del proiettore (percorso ottico B in fi-
gura 31), anch’esso a distanza giusta per visualizzare un
immagine della stessa grandezza e proporzione della s u-
perficie sensibile, il che è necessario per effettuare un
matching diretto tra i due sistemi di coordinate.
Figura 31. Percorsi ottici
Il primo vincolo è il più restrittivo in quanto la telecamera
deve necessariamente stare dietro alla zona di interazione (e
quindi sotto nel caso del tavolo). Fortunatamente è possibile una
vasta scelta di ottiche wide-angle e fisheye per la telecamera, che
aiutano ridurre questa distanza e quindi l’altezza generale
dell’oggetto, che per essere utilizzabile anche da seduti non do-
vrebbe superare gli 80cm.
Il secondo vincolo può essere reso meno restrittivo se si uti-
lizza una fronto-proiezione, proiettando l’immagine dall’alto sul-
la superficie. In questo caso, il proiettore può essere affisso al
soffitto e l’intera struttura diviene più leggera. Purtroppo lo svan-
taggio principale è che il tavolo non è più facilmente spostabile e
PIATTAFORME REALIZZATE 99

sono necessari interventi strutturali ogni volta che viene posizio-
nato all’interno di un ambiente. Per questo motivo è stato scelto
un layout a retro-proiezione, posizionando il proiettore sotto al
tavolo. In questo modo il vincolo diviene determinante, poiché le
scelte di ottiche per proiettori è molto meno vasta che per le tele-
camere. Anche in questo caso è stato scelto un modello di proiet-
tore che permettesse la migliore altezza totale, arrivando circa a
95cm.
4.3.2.1 La superficie sensibile
Il fenomeno della FTIR è generabile toccando il plexiglas di-
rettamente con le mani nude. Come già specificato l’efficacia del
risultato (ovvero l’intensità della luce prodotta nella diffusione),
dipende dal grado di umidità delle mani dell’utente che può va-
riare anche sensibilmente da persona a persona. Inoltre, durante
l’utilizzo dell’interfaccia le dita tendono a seccarsi a causa
dell’attrito con la superficie, e l’effetto può degradare. La super-
ficie interattiva è stata quindi realizzata in due formati, il primo
già descritto ed il secondo facendo uso di una pellicola ulteriore.
Nel primo caso la superficie è formata da solo due strati, la
pellicola da retro-proiezione che è posta sotto alla lastra di plexi-
glas, e l’acrilico stesso.
Nel secondo caso sopra l’acrilico è applicato uno strato di si-
licone trasparente, e sopra a quest’ultimo è posta la pellicola da
retro-proiezione.
100 PIATTAFORME REALIZZATE

Il silicone è un materiale con un ottimo indice di rifrazione,
che massimizza l’effetto FTIR anche in presenza di una minima
pressione. La difficoltà maggiore è stata nell’individuazione del
materiale, che rispetto al silicone tradizionale lattiginoso, deve
essere perfettamente trasparente per permettere alle immagini
proiettate di essere chiaramente visibili. La pellicola da retro-
proiezione, posta sopra al silicone, risulta piacevole al tatto e
permette uno scorrimento fluido del dito. Un ulteriore vantaggio
di questo formato è dato dall’esatta corrispondenza
dell’immagine proiettata e della zona sensibile, siccome le im-
magini sono formate sull’ultima superficie che si frappone tra il
proiettore e l’utente. Nel primo caso, invece, lo spessore
dell’acrilico crea un effetto parallasse che seppur minimo peg-
giora la precisione del tocco. I due approcci, generando diffusio-
ni ad intensità differenti, necessitano di alcuni aggiustamenti
nell’algoritmo utilizzato.
4.3.2.2 Telecamera IR
La telecamera posta sotto alla superficie è dotata di un nor-
male sensore ottico CMOS o CCD e di una lente che non viene
filtrata agli infrarossi. Le caratteristiche del sensore sono tali da
rilevare oltre alla luce visibile anche quella del vicino infrarosso
(NIR) attorno agli 850nm.
PIATTAFORME REALIZZATE 101

Figura 32. Telecamera con filtro infrarossi applicato.
Per l’applicazione, la parte visibile della luce non solo non è
utile, ma è addirittura dannosa e può peggiorare la performance
dell’algoritmo di riconoscimento. Sopra alla telecamera viene
quindi posto un filtro nero che elimina la luce visibile e lascia
passare solo le lunghezze d’onda a 850nm, esattamente la stessa
frequenza emessa dai LED. La telecamera può campionare la
zona sensibile a 640x480 pixel, ma ai fini di un minor carico
computazionale anche una zona di 320x240 pixel può esser suf-
ficiente come input per l’algoritmo di identificazione e tracking.
4.3.2.3 Proiezione digitale
Anche il proiettore necessita di un particolare filtro ottico
posto davanti alla lente. La motivazione di questo è che
l’intensità luminosa della proiezione non è uniformemente di-
stribuita, ma è più concentrata verso il centro della lente. Sebbe-
ne l’emissione sia nel visibile, la lampada del proiettore emette
anche raggi infrarossi che, concentrati nel punto di maggior cen-
trale, creano un effetto hotspot sulla parte sottostante della super-
ficie sensibile. Questo hotspot è un punto luminoso che può con-
fondere l’algoritmo di sensing, soprattutto perché la sua intensità
è variabile e dipendente sia da fluttuazioni interne della lampada
che dalla quantità di luce emessa per comporre l’immagine
dell’interfaccia. Come risultato, l’hotspot diviene un falso positi-
vo che si confonde con un punto di contatto delle dita
dell’utente.
102 PIATTAFORME REALIZZATE

Per ovviare a questo problema, un filtro anti NIR viene posto
davanti alla lente del proiettore. I colori della proiezione risulta-
no quasi totalmente invariati ma l’hotspot sparisce.
4.3.3 Implementazione del Sensing
L’algoritmo di sensing implementato per rilevare i punti di con-
tatto delle mani degli utenti prevede le seguenti fasi:
1. Acquisizione dell’immagine agli infrarossi da
parte della telecamera
2. Applicazione della catena di filtri ad ogni
immagine
3. Individuazione dei blob e discretizzazione
della loro posizione in coordinate bidimen-
sionali
4. Trasposizione delle coordinate da camera-
space a coordinate logiche di visualizzazio-
ne, utilizzando il modello di distorsione ra-
diale della lente utilizzata e l’omografia
tra le due superfici.
5. Tracking delle coordinate dei punti di con-
tatto.
Le coordinate così ottenute sono passate al livello
dell’interfaccia, dove un dispatcher si occupa di assegnarle ad
ogni elemento interattivo dell’applicazione.
4.3.3.1 Calibrazione
La calibrazione avviene tramite un apposito tool che permet-
te di calcolare l’omografia tra l’immagine della telecamera e la
superficie di visualizzazione. Sei punti vengono proiettati e
all’utente è richiesto di toccarli con la mano. Dopo un certo nu-
mero di frame in cui l’algoritmo trova un solo punto di contatto
valido, le coordinate (x,y) dell’immagine della telecamera ven-
PIATTAFORME REALIZZATE 103

gono accoppiate a quelle note (X,Y) del punto visualizzato. Si
ottiene in questo modo un sistema che risolto fornisce i parametri
in grado di trasporre un generico punto (i,j) in una coordinata
dello schermo.
Da notare che le coordinate (x,y) di partenza sono già ottenu-
te applicando la correzione della distorsione radiale della lente
utilizzata, modello acquisito tramite un apposito strumento. Uti-
lizzando lenti con focale 4.3 questa distorsione e minima, mentre
con lenti superiori a focale 2.9 si rende assolutamente indispen-
sabile.
4.3.3.2 Algoritmo di riconoscimento del contatto
Ad ogni frame acquisito dalla telecamera i seguenti filtri di
image processing vengono applicati:
Smoothing, si effettua un normale blur sull’immagine inizia-
le per ridurre il rumore in ingresso.
Background Subtraction, il modello del background viene
creato nei primi 90 frame di esecuzione ed è continuamente ag-
giornato. L’immagine attuale viene sottratta dal modello consi-
104 PIATTAFORME REALIZZATE

derando solo le zone più chiare (ovvero quelle per le quali
l’effetto FTIR ha creato una diffusione).
Contrasto, i livelli di grigio dell’immagine vengono manipo-
lati diminuendo le zone in ombra ed esaltando quelle chiare, in
questo modo eventuali diffusioni dovute a materiale di deposito
sulla superficie (tracce delle dita o polvere) vengono scartate e il
polpastrello dell’utente viene evidenziato meglio.
Thresholding, l’immagine a livelli di grigio così ottenuta è
resa binaria applicando un filtro che mantiene solo i pixel a suf-
ficiente intensità luminosa. Nei test effettuati il valore di thre-
sholding si aggira su un terzo dell’intensità del pixel più chiaro
nell’immagine.
PIATTAFORME REALIZZATE 105

Estrazione dei Blob, l’immagine binaria ottenuta viene ana-
lizzata per individuare i blob (le componenti connesse). Da esse
vengono esclusi i blob con area troppo piccola o troppo grande
rispetto ad un polpastrello.
4.3.3.3 Tracking
Le coordinate del centroide e l’area del blob ottenute vengo-
no utilizzate nella successiva fase di tracking.
Questa fase utilizza un sistema molto semplice,
l’assegnazione di un identificativo univoco ad ogni nuovo punto
di contatto, ed il continuo confronto della posizione attraverso i
frame. Sulla base di una logica di nearest-neighbour, ai punti
meno distanti tra loro (utilizzando una normale distanza euclide-
a) in due successivi frame si applica l’identificativo del frame
precedente, creando la persistenza e quindi una storia del movi-
mento del punto.
Al fine di evitare la generazione di dati spuri, come
l’introdurre un nuovo punto di contatto nel caso in cui per un so-
lo frame non si identifichi il punto, vengono applicate ulteriori
logiche di persistenza. Ogni punto non trovato è stimato come
esistente per N frame consecutivi, dopo di che viene scartato.
Questo sistema permette di facilitare le operazioni di trascina-
mento degli oggetti.
Dopo la fase di tracking i punti vengono trasformati rispetto
all’omografia trovata nella fase di calibrazione, e divengono co-
ordinate utilizzabili al livello dell’interfaccia.
106 PIATTAFORME REALIZZATE

4.3.4 Interfaccia
L’interfaccia di tabulaTouch è realizzata tramite una libreria
grafica 6 che sfrutta le capacità tridimensionali delle moderne
schede grafiche. Tale scelta è stata motivata dal fatto che le inter-
facce costruite per un paradigma di interazione multi-tocco e col-
laborativo sono nettamente distanti dalle normali esperienze u-
tente da desktop computing. In particolare, sussistono i seguenti
fattori:
Le applicazioni multi-tocco, soprattutto su superfici oriz-
zontali come i tavoli, devono prevedere un orientamento
a 360° degli elementi grafici. Questo orientamento non è
necessariamente impostato per l’intera durata della ses-
sione, ma può variare globalmente (per l’intera interfac-
cia) o solo per alcuni elementi. Le librerie UI (user inter-
face) per i sistemi operativi moderni, basati sul paradi g-
ma WIMP non danno assolutamente questa possibilità.
I controlli utente devono poter essere usati contempor a-
neamente da più persone, per esempio un menu o un bot-
tone devono poter supportare una pressione simultanea, e
generare un evento di “click” solo quando tutti gli utenti
lo hanno rilasciato. Anche questo modello di eventi è
molto distante dal sistema di messaggi alla base degli at-
tuali sistemi operativi e deve essere implementato nuo-
vamente.
6 Irrlicht 3D, libreria open-source scaricabile all’indirizzo
http://irrlicht.sourceforge.net
PIATTAFORME REALIZZATE 107

La libreria di tabulaTouch supporta la creazione di un nuovo
contesto grafico a pieno schermo che supporta le modalità de-
scritte.
4.3.4.1 Distribuzione degli eventi di input
Alla base della gestione degli eventi di input vi è un processo
dispatcher che si occupa di distribuire i punti di contatto rilevati
e tracciati dalle fasi precedenti dell’algoritmo agli oggetti attivi.
Per oggetto attivo si intende un elemento grafico contenuto
in una zona delimitata da un poligono bidimensionale. La forma
di questo poligono è solitamente un rettangolo, ma può essere
anche irregolare e complesso. Il vero oggetto grafico, chiamato
visual, è inserito all’interno dello scene-graph 7 come figlio
dell’oggetto attivo, intendendo in questo modo l’ereditarietà del-
le trasformazioni di posizione/rotazione/scalatura del padre.
Un visual può essere un elemento multimediale di varia natura:
Un’immagine
Un video
Un paragrafo testuale
Un oggetto tridimensionale
Altre visualizzazioni provenienti da moduli e-
sterni
Chiaramente, il poligono dell’oggetto attivo deve essere coe-
rente con la forma del visual, per cui al momento della creazione
una procedura si occupa del suo adattamento. Nel caso di un og-
getto tridimensionale viene considerata la sua silhouette (ovvero
la proiezione della sua forma sul piano bidimensionale).
7
Lo scene-graph è l’albero gerarchico che concatena i vari nodi di un motore
trudimensionale. Ogni nodo ha la propria trasformazione rispetto al padre, identificata
da una matrice 4x4 e in grado di esprimere posizione, rotazione e scalatura.
108 PIATTAFORME REALIZZATE

Per ogni punto P di contatto individuato, viene effettuata la
seguente procedura:
1. Viene effettuato un hit-testing per determina-
re in se nella zona P esistono degli oggetti
attivi
2. Il punto P viene aggiunto all’oggetto attivo
avente l’ordine di processing minore (questo
ordine è solitamente lo stesso di quello di
renderizzazione).
3. Se il punto P non è stato aggiunto a nessun
visual, viene aggiunto al canvas che è
l’astrazione del background dell’applicazione.
Ad ogni frame di esecuzione ogni oggetto attivo contiene
una lista di punti a lui assegnato, su cui verranno effettuati ulte-
riori calcoli.
Figura 33. Dispatching degli eventi di contatto agli oggetti attivi.
Il dispatcher tiene inoltre conto dei tempi di aggiunta e di
rimozione di questi punti, e si occupa di generare opportuni e-
venti di TouchDown e TouchUp (il corrispettivo del click di un
mouse) sia per ogni oggetto attivo che per il canvas.
PIATTAFORME REALIZZATE 109

4.3.4.2 Roto traslazione dei contenuti
La lista dei punti di contatto sugli oggetti attivi è la base per
realizzare il paradigma fondamentale delle interfacce a 360°, ov-
vero la roto-traslazione.
In generale, la modalità di trasformazione della posizione,
rotazione e scalatura di un contenuto è la seguente:
Con un singolo punto di contatto si effet-
tua solo lo spostamento del contenuto.
Con due punti di contatto, si effettua una
roto/traslazione del contenuto in maniera
precisa.
Con un numero superiore di punti di contat-
to occorre applicare un partizionamento che
riduca questi a due insiemi di cui viene
calcolato il centroide, per poi ricondursi
al caso precedente. L’algoritmo utilizzato
è il k-means, che è di semplice implementa-
zione e molto veloce soprattutto per un in-
sieme esiguo di punto (è difficile trovare
più di 10 punti di contatto su ogni oggetto
attivo).
La roto-traslazione avviene effettuando i seguenti calcoli. Ad
un dato frame f sia S f la trasformazione di scalatura e R f la tra-
sformazione di rotazione dell’oggetto (espressa come angolo).
Considerando le coordinate dei punti di controllo P 1 e P 2 il
vettore di movimento V = P 1
f – P 2
f è caratterizzato da:
modulo
ed inclinazione
110 PIATTAFORME REALIZZATE

in questo modo ad ogni frame si hanno la seguente relazioni
per S ed R:
Le nuove trasformazioni vengono applicate frame per frame
all’oggetto, che si muove ruotandosi e scalandosi nello spazio
rimanendo coerente ai punti di controllo ed alla traslazione gene-
rale dell’oggetto.
Figura 34. Roto-traslazione degli oggetti tramite punti di controllo.
Il visual figlio dell’oggetto attivo viene in questo modo
anch’esso trasformato.
PIATTAFORME REALIZZATE 111

4.3.4.3 Inerzia
Al fine di dare un look-and-feel 8 più naturale all’interfaccia
le tre operazioni di trasformazione (spostamento / rotazione /
scalatura) vengono applicate in due modalità diverse:
Quando i punti di contatto sono sull’oggetto attivo si
ha un controllo diretto di queste trasformazioni. Un
singolo passaggio di smoothing delle coordinate è ap-
plicato per evitare che ci sia un tremolio dovuto al r u-
more nelle letture dei punti di contatto.
Quando non ci sono punti di contatto, il modello di
moto per le tre trasformazioni viene stimato dai frame
precedenti, estrapolando tre velocità. Queste vengono
applicate alle relative trasformazioni.
L’effetto generale è l’inerzia dell’oggetto, che se lanciato o
ingrandito velocemente, prosegue per alcuni frame la sua tra-
sformazione.
Figura 35. Interfaccia finale di tabulaTouch con feedback dei punti di
contatto con la superficie sensibile.
8
Il look-and-feel è l’insieme degli elementi estetici che conferiscono un particolare
“stile” all’interfaccia. Nel caso di interfacce naturali questo deve essere il più
vicino posibile al mondo fisico.
112 PIATTAFORME REALIZZATE

Le caratteristiche descritte sono alla base della creazione di
ambienti per la condivisione di dati multimediali da parte di più
utenti, come nell’applicazione tabulaGraph illustrata nella se-
zione 5.2.
PIATTAFORME REALIZZATE 113

4.4 TANGerINE
TANGerINE è una piattaforma interattiva che ha lo scopo di
inserire gli elementi dell’interazione tangibile all’interno di un
contesto collaborativo, utilizzando anche in questo caso una su-
perficie orizzontale (tavolo) come centro delle attività.
L’acronimo TANGerINE sta per TANGible Interactive Natural
Environment. La parola environment (ambiente) sta ad indicare
che nell’ideare questa piattaforma è stato considerato il caso in
cui più contesti interattivi possano essere messi in relazione in
uno spazio più ampio. Alla base di questo nuovo progetto vi è
l’utilizzo di uno smart object, dove per smart (intelligente) si in-
tende la presenza di tecnologia embedded all’interno di un ogget-
to fisico grazie alla quale è possibile rilevare dati sulla manipola-
zione da parte dell’utente.
Il progetto è nato grazie ad una collaborazione con il labor a-
torio Micrel del DEIS dell’Università di Bologna, dove erano
state effettuate precedenti esperienze nell’utilizzo di smart object
in progetti HCI. L’idea fondamentale è l’integrazione delle pre-
cedenti esperienze sull’interazione tabletop, e l’indagine dei mo-
di in cui le tecniche di computer vision e quelle di analisi dei
sensori possano reciprocamente integrarsi e coadiuvarsi.
TANGerINE ha rappresentato una sfida dal punto di vista
tecnologico e costruttivo, e anche per quello che riguarda gli al-
goritmi e le tecniche di sensor fusion utilizzate.
PIATTAFORME REALIZZATE 115

4.4.1 SMCube: L’oggetto tangibile intelligente
La scelta della forma dell’oggetto tangibile è stata oggetto di
numerosi confronti, alla fine è stato deciso comunemente di a-
dottare un cubo per i seguenti motivi:
L’oggetto tangibile in questo contesto di tabletop
interaction deve avere una relazione chiara con il tavo-
lo e possedere un equilibrio stabile quando appoggiato.
La forma del cubo permette 6 stati di quiete possibili.
La forma del cubo ha un affordance chiara pur essendo
neutra (cioè svincolata dal ruolo che esso ricopre
nell’applicazione). La faccia tipicamente considerata
attiva è quella superiore e parallela alla superficie del
tavolo. Tale area è utilizzabile sia per le tecniche di
sensing (nel nostro caso il riconoscimento da parte del
modulo di visione artificiale), sia come ulteriore super-
ficie per la visualizzazione di simboli visuali legati alla
modalità di impiego dell’oggetto.
Sia nell’area attiva che nell’area limitrofa (definiti in
sezione 4.2.3), l’utente tiene generalmente l’oggetto in
mano: il cubo ha una forma tale da permettere una
manipolazione ed una gestualità istintuali (scuotimen-
to, rotazione continua in una direzione etc).
Il cubo è cognitivamente associato ad un dado e dun-
que ad una forma che per natura suggerisce
l’associazione di un “valore” diverso ad ogni faccia.
In sintesi, il cubo scelto come oggetto tangibile dà la possibi-
lità di accedere a tecniche di riduzione di complessità e del cari-
co cognitivo sull’utente pur permettendo l’introduzione di un
linguaggio di interazione più ricco in grado di essere sfruttato per
116 PIATTAFORME REALIZZATE

sistemi più complessi. La forma tipicamente neutra permette di
variare il ruolo dell’oggetto senza creare implicazioni cognitive
dovute all’associazione di caratteristiche funzionali con oggetti
della vita quotidiana.
SMCube (acronimo di Smart Micrel Cube) è racchiuso in un
cubo di legno, dove su ogni faccia è presente una matrice di LED
infrarossi configurati rispetto ad un particolare pattern che per-
mette l’identificazione univoca del nodo. L’architettura interna è
basata sul dispositivo WiMoCA (Farella, Pieracci, Brunelli,
Acquaviva, Benini, & Riccò, 2005) che è stato utilizzato in pre-
cedenza per sperimentazione sul motion capture e su un sottosi-
stema per la trasmissione wireless dei dati acquisiti attraverso
Bluetooth.
Questo nodo sensore è particolarmente flessibile grazie alla
modularità del design, esso è costituito da diversi livelli: il si-
stema di alimentazione, il microcontrollore ed i sensori on-board,
gli attuatori (LED e vibrazione) ed il sistema di trasmissione wi-
reless.
Figura 36. Esterno ed interno del SMCube
4.4.1.1 Architettura dei sensori
Il microcontrollore on-board (un ATmega8 con architettura
RISC) controlla un accelerometro tri-assiale che può individuare
accelerazioni fino a 6g e fornire un output digitale. Grazie alla
PIATTAFORME REALIZZATE 117

programmabilità del microcontrollore, il nodo implementa un al-
goritmo in grado di individuare l’orientamento del cubo rispetto
all’accelerazione di gravità. Diviene quindi possibile discrimina-
re quale faccia sia appoggiata su una superficie piana, oppure se
l’oggetto viene tenuto in mano o ruotato. Inoltre, sono possibili
analisi parallele di diverso genere, per individuare particolari ge-
sti dell’utente. Questi dati sono poi passati al sistema wireless
che si occupa di trasmetterli tramite un apposito protocollo su
Bluetooth.
L’architettura prevede l’espandibilità verso altri tipi di sensore
come: giroscopi, magnetometri e sensori di prossimità. La com-
plessità maggiore rimane quella della realizzazione fisica dei cir-
cuiti, mentre è semplice aggiornare sia il firmware interno in
grado di interpretare i dati, sia il protocollo per la trasmissione.
4.4.1.2 Riconoscimento delle facce e stati di quiete
L’accelerometro tri-assiale può misurare l’accelerazione sta-
tica e dinamica. La prima è utilizzata per estrarre l’inclinazione
del cubo rispetto al vettore che individua l’accelerazione di gra-
vità facendo semplici considerazioni trigonometriche sui valori
dei tre assi similarmente a come accade in (Schmidt, Schmidt,
Holleis, & Krantz, 2005). In questo modo l’SMCube è in grado
di discriminare quali delle sei facce del cubo siano quella supe-
riore o inferiore ad ogni momento. Questo risultato è salvato
all’interno della memoria ed è direttamente utilizzato
dall’algoritmo interno per accendere l’attuatore LED sulla faccia
interessata: ovvero la matrice utilizzata per il riconoscimento da
parte del sistema di visione.
Attraverso l’analisi accelero metrica è possibile inoltre capi-
re se il cubo è tenuto in mano da una persone oppure se è in stato
di quiete sul tavolo. In questo secondo caso l’accelerometro mi-
118 PIATTAFORME REALIZZATE

sura due assi paralleli al tavolo e i terzo ortogonale ad esso.
Normalmente i tavoli possono subire vibrazioni non superiori ai
4 mg, come da noi osservato monitorando le scrivanie di utenti
che usavano il computer in attività usuali (scrittura su tastiera).
Altri movimenti possono superare i 4 mg, ma durano normal-
mente pochi istanti e possono essere individuati facilmente.
Nel caso di un oggetto tenuto in mano, la configurazione degli
assi è notevolmente diversa dalla precedente in quanto è arduo
per un utente mantenere il cubo perfettamente parallelo al terre-
no. In più il tremore delle mani misurato è attorno ai 10 mg ed ha
un andamento continuo (abbiamo comparato dati raccolti su 10
persone di età comprese tra i 20 ed i 40 anni). Settando una so-
glia sui 6-8 mg è possibile distinguere tra lo stato di quiete sul
tavolo e nelle mani di un utente.
Nella versione 2.0 dell’SMCube, il riconoscimento dello sta-
to è stato accorpato ad un più avanzato algoritmo di riconosci-
mento dei gesti.
4.4.1.3 Riconoscimento dei gesti
Al fine di dotare le interfacce di una maggiore espressività, è
stato implementato nel firmware del nodo un algoritmo in grado
di classificare i seguenti gesti:
Shake, lo scuotimento del cubo
Tap, un colpo unico e secco della mano dell’utente sul
cubo appoggiato sul tavolo
In Mano, cubo tenuto in mano da un utente
Sul Tavolo, cubo posto in stato di quiete sul tavolo
PIATTAFORME REALIZZATE 119

Figura 37. Manipolazione del cubo sul tavolo e nella zona limitrofa.
Questi gesti ci sono sembrati abbastanza naturali per
l’affordance dell’oggetto. In particolare il primo, lo shake, è stato
effettuato da diversi utenti in fase di sperimentazione quando il
cubo non aveva queste funzionalità. Alcuni utenti individuavano
il cubo come contenitore, e a questo gesto collegavano la curiosi-
tà del sapere cosa contenesse. Abbiamo quindi pensato di im-
plementare tale azione sull’interfaccia per esempio facendo e-
splodere sulla superficie interattiva i contenuti attualmente legati
al cubo.
La creazione del classificatore è avvenuta utilizzando un sof-
tware esistente, la piattaforma Weka 9 permette di affrontare que-
sto problema in maniera semplificata. Partendo da una serie di
dati di addestramento {(x 1 ,y), (x 2 ,y), ..., (x n,y)} si deve produrre
un classificatore h: X -> Y che mappi elementi acquisiti in tem-
po reale X su stati decisi in precedenza Y.
I metodi di classificazione sono numerosi, ma in generale si
possono identificare due tipi principali di approcci: quello stati-
stico e quello sintattico. Il primo cerca in genere di massimizzare
9
Programma open source sviluppato dall’università di Waikato in Nuova Zelanda
per l’analisi e l’implementazione degli algoritmi di classificazione.
120 PIATTAFORME REALIZZATE

la probabilità a posteriori (cioè la probabilità che un campione
appartenga a una data classe, che sarà quindi quella scelta) par-
tendo dalle stime delle probabilità a priori delle classi e delle
probabilità condizionali; il secondo si concentra sull’analisi di
caratteristiche distintive degli oggetti da classificare: trattando
queste features in uno spazio multidimensionale appositamente
costruito.
La classificazione comporta il confronto tra le caratteristiche
strutturali del campione da testare e quelle del training set, in ba-
se al quale viene poi presa la decisione sullo stato da associare.
Questo lavoro, sviluppato presso il Micrel, ha imposto la scelta
di classificatori che fossero poco onerosi dal punto di vista com-
putazionale. In particolare abbiamo sono stati valutati i seguenti:
Naive Bayesian Classifier: un classificatore, basato su
approccio statistico, che fa uso del teorema di Bayes
per stimare le probabilità a priori a partire dai dati di-
sponibili nel training set, e valutare e comparare le
probabilità a posteriori. La classificazione avviene
scegliendo la classe per cui la probabilità è massima.
K-nearest neighbours classifier: è uno dei più semplici
algoritmi di machine learning. Un campione viene as-
segnato alla classe cui appartiene la maggioranza dei k
elementi più vicini. La distanza viene valutata nello
spazio n-dimensionale delle features, mediante il cal-
colo della distanza euclidea o Manhattan.
Albero: si basano sulla ripartizione dell'insieme di
campioni da esaminare in sottoinsiemi che raccolgono
entità che presentano valori uguali o simili per qualche
attributo considerato importante e significativo.
PIATTAFORME REALIZZATE 121

Dopo la fase di acquisizione dei dati, la scelta delle feature
da considerare è ricaduta su media e varianza dei dati accelero-
metrici calcolati su finestre di 16 campioni con una sovrapposi-
zione di 8. Utilizzando Weka su è potuto calcolare la performan-
ce di riconoscimento dei tre classificatori, che si è rivelata sopra
al 90% e molto simile tra i tre. E’ stato quindi scelto il classifica-
tore ad albero per la facilità di implementazione tramite costrutti
if-then-else:
varianza 118632
| varianza 5405105: shake
122 PIATTAFORME REALIZZATE

I primi test a runtime non sono stati del tutto soddisfacenti: i
valori delle soglie erano troppo precisi e le feature utilizzate non
erano ottime per tutte le classi da riconoscere in quanto molto di-
stanti tra loro come dimostrato nei seguenti grafici:
Tabella 5. Grafici delle varianze tra le differenti classi di gesti riconosciuti.
In seguito a questa osservazione le soglie sono state riaggiu-
state tenendo conto delle separazioni di classe, raggiungendo una
buona performance di riconoscimento. Un caso particolare, il
Tap, ha inoltre richiesto l’eliminazione di alcuni casi di confu-
sione tra la percussione e gli spostamenti repentini sul tavolo, es-
sendo la natura di questo gesto impulsiva rispetto alle altre (ov-
vero si verifica in un lasso di tempo molto breve nel quale vi è
un picco nella variazione dei valori).
PIATTAFORME REALIZZATE 123

4.4.1.4 Trasmissione Wireless
Il sistema di comunicazione è basato su Bluetooth 2.0 e
supporta il serial port profile (SPP) per cui è semplice interfac-
ciarsi con il dispositivo aprendo una connessione seriale. Grazie
ad esso l’orientamento del cubo (ed in generale ogni altro dato
da esso registrato) può essere spedito a dispositivi esterni dotati
di un apparato Bluetooth. Il pacchetto di comunicazione di base
contiene sia i dati grezzi raccolti dall’accelerometro, sia i dati e-
strapolati dall’algoritmo (la faccia del cubo appoggiata su un pi-
ano orizzontale e l’eventuale gesto riconosciuto). La trasmissio-
ne avviene in due modalità che possono essere scelte dal
designer dell’applicazione:
In modalità interattiva il pacchetto viene spedito solo al
cambiamento della faccia corrente o al verificarsi di un certo ge-
sto: ovvero quando l’utente esplicitamente manipola il cubo e lo
porta da uno stato di quiete ad un altro. L’algoritmo considera
un certo numero di frame di latenza prima di decretare il nuovo
stato, in questo modo si cerca di eliminare il più possibile gli sta-
ti spuri intermedi.
In modalità continua invece il pacchetto è spedito ad una
certa frequenza configurabile. Questa modalità è utile per bypas-
sare l’algoritmo interno ed effettuare il processing sulla macchi-
na che riceve i dati, oppure per effettuare ulteriori analisi. Chia-
ramente, il consumo energetico è maggiore che nel primo caso,
motivo per cui questa modalità è utilizzata soprattutto per il de-
bugging.
Indipendentemente dalla modalità utilizzata il modulo wire-
less può anche ricevere comandi dall’utente, per accendere la
matrice LED, la vibrazione o settare i parametri.
124 PIATTAFORME REALIZZATE

4.4.1.4 Attuatori
Il microcontrollore è in grado anche di pilotare, oltre
all’input proveniente dai sensori, anche uno o più sistemi di
output. SMCube è stato realizzato in due versioni:
In tutte le versioni vi sono attuatori LED per ogni fac-
cia del cubo. Questi light emitting diode emettono luce
nel vicino infrarosso (NIR) e sono configurati in una
particolare matrice che serve al riconoscimento
dell’identità del cubo.
Nella versione 2.0 è compreso anche un attuatore di
vibrazione, simile a quelli disponibili nei telefoni cel-
lulari odierni. Questo attuatore può essere fatto vibrare
a diverse frequenze ed intensità, producendo diversi
tipi di feedback tattile all’utente che tiene il cubo in
mano.
Al fine di mantenere bassa la complessità realizzativa non
sono stati inseriti altri attuatori, anche se alcuni si sarebbero rive-
lati molto utili: come un feedback audio digitale direttamente da
un altoparlante all’interno del cubo, oppure un LED di luce visi-
bile.
Di seguito viene riportata la tabella contenente il formato del
pacchetto ed i comandi impartibili al firmware del cubo.
PIATTAFORME REALIZZATE 125

Pacchetto:
i
I
D
Configuration
H
Comandi:
Configuration
L
FaceI
D
126 PIATTAFORME REALIZZATE
X
l
X
h
Y
l
Y
h
Z
l
Z
h
Gesture
A
Gesture
B
Char Parameter Command Name
r
Gesture
C
Gesture
D
f
Flash
Stored
Ask Configuration Yes
n Dec=0..255, Hex=00..FF Change Latency, x=time Yes
a
s
c
t
f
m Dec=0..255, Hex=00..FF
h
l
v
Led On Yes
Led Off Yes
Continuous Transmission Yes
On Face changing Transmission Yes
Windowed Transmission Yes
Change Time Transmission,
x=time
Yes
High Lumix Yes
Low Lumix Yes
Bottom Setup Yes
z
Top Setup Yes
i Dec=0..255, Hex=00..FF new ID value Yes
b Dec=0..255, Hex=00..FF new Latency time Yes
d
6 values: Dec=0..255,
Hex=00..FF
modify TAP threshold Yes
4.4.2 Identificazione e Tracking degli SMCube
TANGerINE è una piattaforma studiata per la multi-utenza
contemporanea. Diversi SMCube possono essere utilizzati allo
stesso momento da più utenti sulla superficie interattiva, ed in
generale (grazie alla trasmissione wireless) nelle zone vicine in
prossimità del tavolo. Queste diverse casistiche danno origine al-
lo studio dei contesti interattivi come successivamente specifica-
to nella sezione 4.2.3.

Quando i cubi sono utilizzati sulla superficie, e quindi ap-
poggiati su di essa, in stato di quiete o spostati dagli utenti, essi
devono essere tracciati precisamente al fine di stabilire in ogni
momento la loro posizione ed il loro orientamento rispetto al pi-
ano del tavolo. Se nel caso di tabulaTouch, l’identificazione dei
punti di contatto era solo relativa alla posizione bidimensionale,
nel caso di TANGerINE l’orientamento del cubo può divenire un
elemento in più all’interno del linguaggio di interazione. Basti
pensare alla metafora della manopola: un oggetto che permette di
aumentare/diminuire dei valori in base alla rotazione. Lo stesso
concetto può essere traslato sul cubo, soprattutto se il ruolo è
quello di manipolatore. In questo caso, infatti, sono spesso ne-
cessarie almeno due dimensioni: una per selezionare l’oggetto
digitale da modificare (la posizione dell’oggetto tangibile) ed
un’altra per variarne le caratteristiche (l’orientamento).
Il sistema di visione necessita che la telecamera sia posta or-
togonale al piano del tavolo ed alla giusta distanza per inquadrar-
lo tutto. Sono possibili due layout di posizionamento della tele-
camera:
Nel layout Top (figura 38), la telecamera è posta in alto
sopra il tavolo e quindi inquadra sia i cubi che le mani ed
i gesti degli utenti. In questo caso il cubo è configurato
per accendere i LED della faccia superiore.
Nel layout Bottom (figura 42), la telecamera è posta sotto
al tavolo (come in tabulaTouch) ed i LED accesi sono
quelli della faccia che effettivamente appoggia sul tavolo.
In questo layout è importante che la superficie non sia di
un materiale totalmente opaco, per poter far filtrare la lu-
ce infrarossa.
PIATTAFORME REALIZZATE 127

La differenza tra i due layout è piuttosto netta. Nel primo si
possono facilmente creare casi di occlusione, in quanto le perso-
ne maneggiano gli oggetti con stili diversi (spesso coprendo la
faccia superiore). Nel secondo invece non vi è questo problema,
ed il cubo è individuato quando è effettivamente appoggiato al
tavolo. Le due modalità sono state previste per poter effettuare
più test senza costruire strutture particolari.
Figura 38. TANGerINE in setup Top con telecamera e proiettore sul
soffitto.
4.4.2.1 La matrice visuale
I LED su ogni faccia sono posti in una certa configurazione
geometrica, mostrata in figura 39. La matrice è composta di due
parti, la lancetta interna (i tre LED da p1 a p3) e la corona ester-
na (da p3 compreso fino a p8).
L’elemento lancetta serve per individuare l’orientamento del
cubo rispetto ad un asse assoluto, mentre i LED accesi sulla co-
rona identificano una particolare configurazione binaria che ser-
ve ad estrapolare l’identificativo visuale. La grandezza del cubo,
e la distanza dei vari LED nella lancetta e nella corona, garanti-
scono che non si possano verificare casi in cui due cubi vicini
confondano i loro punti.
128 PIATTAFORME REALIZZATE

Figura 39. Matrice geometrica LED per riconoscimento visuale
La configurazione di base prevede i LED p1, p2, p3 e p5 ac-
cesi. In questo modo è possibile velocemente validare le configu-
razioni di punti trovati. I punti p4, p6, p7 e p8 vengono accesi
per individuare un certo ID visuale, considerando p4 la cifra me-
no significativa di un numero binario.
Le cifre divengono più significative mano a mano che ci si
sposta verso p8, in questo modo è possibile individuare 2 4 +1 di-
versi identificativi: un numero che è sufficiente per le esigenze di
un’applicazione collaborativa.
4.4.2.2 Primo algoritmo di identificazione
Nella prima versione dell’algoritmo, il sistema di visione uti-
lizza una catena di filtri simili a tabulaTouch, ma in questo caso
molto facilitata dalla presenza di LED attivi che hanno
un’intensità luminosa molto alta rispetto alla luce ambientale.
Dopo il background subtraction ed il thresholding vengono iden-
tificate le componenti connesse (blob) cercando esplicitamente
dei punti aventi area compatibile con un LED acceso. Per ogni
punto trovato, l’algoritmo cerca il pattern della matrice seguendo
un approccio di fast rejection, che si rivela molto performante:
PIATTAFORME REALIZZATE 129

Come primo passo vengono selezionati i pun-
ti candidati ad essere il centro della ma-
trice p1. A questo riguardo deve essere ve-
rificata una condizione: deve esistere un
singolo punto p2 ad una distanza u e non
deve esistere nessun altro punto a distanza
maggiore di u e minore di 2u.
Se la prima condizione è valida, viene cer-
cato il punto p3 alla stessa distanza da
p2, stimando un raggio dai punti p1 e p2
precedentemente trovati.
Trovati p1,p2 e p3, si stima la posizione
di p5 rispetto ai gradi dell’esagono e si
cerca tale punto in quella posizione.
Se viene trovato p5 l’identificativo è con-
siderato valido e si procede alla ricerca
dei restanti punti per calcolare il numero
binario. A questa fase dell’algoritmo è già
possibile avere una stima dell’orientamento
del cubo.
Rispetto a tale orientamento, viene ispe-
zionata tutta l’area di pixel identificante
la corona cercando gli altri punti. Se ven-
gono trovati punti in aree diverse da quel-
le valide per i punti p4, p6, p7 e p8,
l’algoritmo fallisce.
Altrimenti, l’identificativo del cubo viene
calcolato.
Questo algoritmo, lavorando sui blob, è molto veloce e per-
mette tracciare un alto numero di cubi con basso uso di potere
computazionale. Il maggior svantaggio è dato dal fatto che i pun-
ti devono essere chiaramente separati, effetto che si può ottenere
modellando la giusta intensità di luce ed anche agendo fisica-
mente sul contenitore del cubo.
130 PIATTAFORME REALIZZATE

Figura 40. Camera buffer per algoritmo versione 1 di TANGerINE.
Ad una risoluzione della telecamera di 640x480 pixel
l’algoritmo è abbastanza preciso, ma non sono del tutto elimina-
bili casi in cui due punti di “uniscano” per effetto degli aloni di
luce in particolari posizioni del tavolo. Per cercare di risolvere
questo problema è stato implementato un secondo algoritmo.
4.4.2.3 Secondo algoritmo di identificazione
Nel secondo algoritmo la matrice non cambia e neanche lo
schema di identificazione. L’unico cambiamento riguarda
l’individuazione della lancetta: i punti p1,p2 e p3 sono infatti ad
una distanza minore degli altri e quindi hanno un’alta probabilità
di unirsi otticamente. Al contrario del caso precedente, questa
eventualità è sfruttata dalla seconda versione dell’algoritmo nella
seguente maniera:
Si cerca un blob avente area tre volte
quella di un punto, e di una forma oblunga.
La forma può essere stimata confrontando
l’area del blob con l’area della regione
rettangolare che lo contiene.
Trovato il blob si applica un’algoritmo k-
means per trovare 2 centroidi, che danno
l’orientamento del blob.
PIATTAFORME REALIZZATE 131

I due centroidi trovati, per le caratteri-
stiche del k-means, sono rientranti rispet-
to ai bordi del blob, per cui (dopo aver
stimato il vettore) viene applicata una
scalatura lungo la direzione del vettore.
Un fattore del 20% è sufficiente per stima-
re precisamente la lancetta. (figura 41)
I punto p1 e p3 vengono quindi stimati, ed
il resto dell’algoritmo è identico al pre-
cedente.
Per far sì che la seconda versione dell’algoritmo funzioni, i
punti p1, p2 e p3 devono sempre essere uniti.
Figura 41. Stima della lancetta nella seconda versione dell’algoritmo.
Questo è facilmente realizzabile con valori dell’otturatore
della telecamera più alti e con minori valori di thresholding.
I punti rimanenti, anche ad una risoluzione del frame buffer di
320x240, non si uniscono mai. Il risultato è un algoritmo più ro-
busto e più veloce del precedente.
4.4.2.4 Tracking dei cubi
Il tracciamento dei cubi è molto simile a quello utilizzato per
tabulaTouch (sez. 4.1.3.3 pag. 106), ma può servirsi della di-
mensione dell’orientamento per essere ancora più affidabile.
Frame per frame i cubi trovati vengono associati in base ad un
criterio di minima distanza, e viene applicata una persistenza nel
132 PIATTAFORME REALIZZATE

caso non venga identificato un cubo valido. Movimenti veloci
delle mani degli utenti possono introdurre dei fenomeni di blur-
ring (immagine fuori fuoco) sull’immagine acquisita della tele-
camera, che normalmente non permette l’applicazione
dell’algoritmo. Il sistema di visione individua in questi casi dei
punti vicini, ma di forma ed area sbagliata.
Figura 42. Setup bottom di TANGerINE, migliore per il tracking dei
cubi.
L’algoritmo di tracking cerca di recuperare questi blob per-
duti cercando di classificarli come oggetti in movimento veloce
(come in figura 43), creando dei cluster di punti contenuti in un
area simile alla superficie della faccia del cubo.
PIATTAFORME REALIZZATE 133

Figura 43. Fenomeno di blurring su movimenti veloci.
In questo modo, se ad un frame F1 un cubo è stato individua-
to ed al frame F2 non viene trovato, l’algoritmo controlla se esi-
ste un cluster di punti vicini. Se questo viene trovato, la posizio-
ne del cubo è stimata in base al centroide del cluster, mentre
l’orientamento è mantenuto uguale al frame F1.
Questo procedimento può continuare per un numero parame-
trizzato di frame successivi, fino all’individuazione ad un frame
Fn di un cubo “valido”.
4.4.3 Interazione multi-contesto
La piattaforma TANGerINE, attraverso l’introduzione di un
ulteriore elemento di interazione, permette di studiare la relazio-
ne che intercorre tra l’artefatto interattivo (il tavolo), le diverse
aree che circondano tale artefatto, ed ulteriori contesti interattivi
nello stesso ambiente (altri tavoli, muri o spazi) o in altri luoghi.
Le seguenti figure mostra un caso reale di disposizione delle per-
sone in una SmartRoom, ed una successiva modellazione degli
spazi.
134 PIATTAFORME REALIZZATE

Figura 44. Fotodella SmartRoom dalla telecamera di contesto
Figura 45. Modellazione delle diverse Aree interattive.
Ogni contesto interattivo può essere o meno dotato di aree
dove la natura dell’interazione cambia a seconda delle capacità
di sensing dell’artefatto. Nel caso di TANGerINE, il tavolo inte-
rattivo equipaggiato con il sistema di visione e l’architettura per
PIATTAFORME REALIZZATE 135

la trasmissione dei dati wireless permette di individuare tre di-
verse aree:
Area Attiva (AA): coincide con la superficie orizzontale di
visualizzazione del tavolo, dove tipicamente avvengono le inte-
razioni intenzionali dell’utente con gli oggetti fisici e digitali.
Area Limitrofa (AL): riguarda la zona esterna immediata-
mente adiacente al perimetro del tavolo, è una zona nella quale
vengono ancora individuate interazioni intenzionali e non inten-
zionali (come la semplice presenza dell’utente).
Area Esterna (AE): è lo spazio che non appartiene a nessu-
no dei contesti precedenti, e che rappresenta il confine del siste-
ma di sensing dell’artefatto.
Tipicamente le azioni dirette avvengono nell’AA, dove il si-
stema di sensing può utilizzare congiuntamente i dati provenienti
dal modulo di computer vision e la ricezione dei dati wireless dei
cubi. Nell’AA possono essere implementati facilmente altri mo-
duli per individuare i gesti dell’utente (come per esempio in wi-
kiWall (Baraldi, 2005) ).
Quando l’utente preleva l’oggetto tangibile dall’AA, lo può
fare per due motivi:
Manipolare l’oggetto tangibile nell’AL, quindi nei di n-
torni del tavolo, avendo sempre come riferimento ciò
che accade sul tavolo stesso. Questa azione è tipica
delle applicazioni collaborative dove alcuni utenti
hanno un ruolo primario, ed altri secondario (per e-
sempio Tangerine Tales descritta in sezione 5.3).
Transitare da un contesto interattivo ad un altro por-
tandosi dietro il cubo. Questo avviene passando per
l’AE del contesto attuale, entrando in contatto con
136 PIATTAFORME REALIZZATE

un’AE di un differente contesto ed infine interagendo
con la nuova AL o AA.
Nel secondo caso un utente può allontanarsi da un tavolo
raggiungendone un altro e l’oggetto tangibile è appunto il ponte
che può trasportare contenuto informativo tra i diversi contesti.
La funzione dell’oggetto tangibile in questo caso quella di essere
simulacro di un contenuto digitale o avatar dell’utente stesso, li-
berando l’utilizzatore da operazioni complesse: come effettuare
esplicitamente l’accesso ad ogni tavolo oppure ripercorrere tutte
le operazioni che lo hanno portato ad ottenere un determinato ri-
sultato (configurazione di oggetti digitali).
Figura 46. Cubo come trasportatore di informazioni tra due contesti.
4.4.3.4 Tracking dei cubi tra i contesti
Per implementare il caso precedentemente descritto, occorre
dettagliare quale sia il sistema che permette ai vari contesti di
accorgersi dell’allontanamento e dell’avvicinamento del cubo.
L’ SMCube è in grado di connettersi al dispositivo Bluetooth
più vicino ad esso, sfruttando la capacità dello stack bluetooth di
rilevare tutti i dispositivi nelle vicinanze e scambiare con essi in-
formazioni sulla prossimità. Il protocollo di scoperta dei nodi
consiste nel trasmettere pacchetti speciali (che richiedono agli al-
tri dispositivi di manifestarsi) con una certa frequenza.
La procedura di handshake richiede che alcuni dispositivi siano
in modalità di richiesta, mentre altri siano in modalità di rispo-
sta; si tratta quindi di una procedura asimmetrica.
PIATTAFORME REALIZZATE 137

Figura 47. Meccanismo di prossimità tramite RSSI bluetooth.
Dispositivi in richiesta, cercano di trovare altri nodi nelle
vicinanze
Dispositivi in risposta, sono nodi che possono essere
“trovati” e rimangono in attesa dei pacchetti di richiesta a
cui rispondono con altri pacchetti.
Lo scopo di questo processo è capire, in un certo lasso di
tempo, quali siano I dispositivi effettivamente disponibili per una
connessione affidabile. Ciò è realizzabile utilizzando l’indicatore
RSSI (Received Strength Signal Indicator) che appartiene al li-
vello HCI (Host Controller Interface) dello stack bluetooth e che
rivela la qualità del segnale ricevuto. Il processo può essere de-
scritto in questo modo:
Il cubo effettua una scansione delle vici-
nanze per rilevare gli artefatti disponibi-
li, e sceglie quello con RSSI maggiore (se-
gnale più forte, maggior vicinanza).
Il cubo si connette all’artefatto e passa
in modalità dati, per trasmettere ad esso i
dati sensore e divenendo a tutti gli effet-
ti un oggetto interattivo di tale contesto.
138 PIATTAFORME REALIZZATE

La connessione può essere interrotta sia
dal cubo che dall’applicazione, esplicita-
mente in reazione a qualche evento oppure
(caso più probabile) quando l’indicatore
RSSI scende sotto una certa soglia. Questo
avvenimento rivela che il cubo è stato por-
tato troppo lontano dall’artefatto (in area
AE) e quindi occorre tornare al passo 1.
Questa capacità dei transceiver bluetooth, pur non essendo
pensata per l’individuazione della distanza, si è dimostrata abba-
stanza precisa per tracciare il cubo attraverso contesti distanti tra
loro un minimo di 5 metri.
Occorre considerare comunque che, come tutte le applica-
zioni che utilizzano radiofrequenza, le letture dei valori possono
variare non solo in base alla distanza ma anche per occlusioni di
vario tipo. Per esempio: una stanza gremita di persone può far
variare notevolmente queste letture.
PIATTAFORME REALIZZATE 139

Capitolo 5
Applicazioni Realizzate
Nel corso della ricerca, sono state realizzati alcuni prototipi
di interfaccia per sperimentare le capacità delle superfici interat-
tive ed il loro impatto sui processi creativi degli utenti. Il focus è
stato subito diretto alle strutture cognitive visuali, cercando di
mettere in evidenza nel design delle applicazioni quali fossero i
vantaggi di un nuovo modello di interazione e di una visualizza-
zione dei dati corrispondente.
I primi approcci si sono basati su moduli software ed appa-
recchiature hardware già utilizzate in esperienze precedenti (tesi
di laurea, investigazioni personali e contesti lavorativi), al fine di
sondare quali fossero gli elementi più importanti sui quali con-
centrarsi. Questa fase ha mostrato che, a livello del design
dell’interfaccia, occorresse mantenere un certo minimalismo per
non incorrere in applicazioni visualmente ricche ma lontane dal-
lo scopo iniziale. Il principio della semplicità ha quindi guidato
tutto il processo, scegliendo tra le varie soluzioni possibili, quel-
la che permetteva di raggiungere il risultato con la minor com-
plessità ed impiego di risorse.
Questa fase ha messo in evidenza anche come fossero indi-
spensabili delle piattaforme tecnologiche in grado di supportare
l’investigazione, con caratteristiche sia di modularità (per per-
mettere l’aggiunta incrementale di elementi) sia di coerenza con
il modello dell’interazione naturale (per limitare il proliferare di
approcci e dispositivi). Il lavoro sull’ingegnerizzazione delle
piattaforme interattive tabulaTouch e TANGerINE (descritte nel-
APPLICAZIONI REALIZZATE 141

la sezione precedente) ha permesso di realizzare alcune interes-
santi applicazioni, che verranno descritte nelle sezioni successi-
ve.
142 APPLICAZIONI REALIZZATE

5.1 Cognitive Desktop
CognitiveDesktop è stata una delle prime indagini
sull’utilizzo dell’interazione tangibile e degli oggetti fisici passi-
vi per la manipolazione di conoscenza, ed ha portato alla realiz-
zazione di un prototipo di tavolo interattivo basato su visione ar-
tificiale. L’elemento fondamentale di questo scenario è il codice
fiduciale, ovvero un foglio di carta bianca contraddistinto da un
particolare pattern bidimensionale come riportato in figura.
Figura 48. Tag fiduciale, codice a barre bidimensionale.
Il sistema di sensing è basato su un’esistente libreria per
l’augmented reality chiamata ARToolkit (Kato, Billinghurst,
Poupyrev, Imamoto, & Tachibana, 2000). Essa permette di rile-
vare la presenza di tag visuali estrapolando la posizione, la di-
mensione e l’orientazione del foglio, ed utilizza tale area come
target per la visualizzazione di un certo dato digitale ad esso as-
sociato oppure come “manipolatore” di un elemento
dell’interfaccia.
APPLICAZIONI REALIZZATE 143

Figura 49. CognitiveDesktop, interazione tra oggetti fisici e digitali.
L’interazione degli utenti con le dimensioni fisiche dei con-
tenuti digitali è quindi mediata interamente dall’interazione con
il “foglio taggato”, in quanto l’oggetto virtuale presenta le stesse
affordance di un foglio di carta normale.
La visualizzazione del contenuto digitale è legata
all’individuazione del codice da parte del sistema di
sensing, la rimozione o l’occlusione del quale ne indi-
vidua la presenza. Il layout è simile a quello usato per
tabulaTouch, con la telecamera posta al di sotto della
superficie del tavolo.
La posizione e l’orientazione dei contenuti è estrapola-
ta dalle corrispettive coordinate ed orientazione del
codice. Il foglio può essere spostato in ogni modo,
senza problemi di tracciamento continuo, il sistema vi-
sualizza il contenuto solo quando il foglio è (relativa-
mente) fermo.
Attraverso la manipolazione dei fogli di carta, l’utente può
interagire (direttamente o indirettamente) con il layout di una
144 APPLICAZIONI REALIZZATE

struttura cognitiva, visualizzata attraverso grafi auto-organizzanti
(FDG) .
Dal punto di vista dell’interfaccia e del modello di interazio-
ne, CognitiveDesktop è stato molto utile per studiare quale fosse
il sistema migliore per visualizzare reti semantiche dinamiche.
Il modello di conoscenza alla base dell’applicazione è una
Mappa Concettuale, ovvero un insieme di concetti e relazioni, e
di risorse collegate ai concetti. L’utente, interagendo attraverso
la scrivania cognitiva, pone sul tavolo gli oggetti tangibili (tag
fiduciali) che sono collegati ad argomenti di interesse (un qualsi-
asi argomento appartenente alle varie categorie della conoscenza
(sez. 2.3.2 pag. 26)).
Il sistema utilizza questi elementi come parti di una query da
eseguire sul modello di conoscenza, ed estrae le informazioni re-
lative.
5.1.1 Force Directed Graphs
L’insieme degli elementi visualizzati si presenta molto di-
namico, occorre quindi risolvere il problema dell’auto-
organizzazione spaziale dei contenuti. Dopo alcuni tentativi con
tecniche euristiche il focus si è spostato su una tecnica di visua-
lizzazione per grafi generici che supporta tale dinamicità: i force
directed graphs (FDG).
Questo particolare metodo di disegnare grafi è interessante
in quanto il modello sui cui si basa è un sistema fisico. Ai nodi e
agli archi dei grafi vengono associate delle dimensioni fisiche
(come la carica elettrica o l’attrazione magnetica) ed il sistema
viene simulato iterativamente. L’effetto generale è che gli ele-
APPLICAZIONI REALIZZATE 145

menti del grafo si attraggono e si respingono cercando un punto
di equilibrio, se le dimensioni fisiche sono state ben modellate, il
risultato finale è che tutti gli elementi sono disposti in maniera
ordinata e leggibile.
Nel caso di CognitiveDesktop il modello fisico utilizzato è
stato quello dello spring embedder (figura 50) (Eades, 1983),
ovvero:
Figura 50. Modello Spring-Mass per grafo auto-adattante
I nodi (ovvero i concetti) sono modellati come parti-
celle aventi carica elettrica dello stesso segno.
Gli archi (ovvero le relazioni) sono modellate come
molle.
Ad ogni istante esiste un’interazione tra gli elementi: tutti i
nodi si attraggono/respingono secondo la legge di Coulomb 10 , ed
i nodi collegati da relazioni sono vincolati tra loro dalla legge di
Hooke 11 .
10
Legge di Coulomb, cariche dello stesso segno si respingono, cariche di segno
opposto si attraggono reciprocamente.
11
Legge di Hooke, l' allungamento subìto da una molla è direttamente proporzionale
alla forza applicata rispetto alla lunghezza in stato di quiete e alla costante di
proporzionalità, detta costante elastica, che dipende dalla molla .
146 APPLICAZIONI REALIZZATE

Identificando, tra due nodi u e v la forza di coulomb e quel-
la della molla la forza totale su uno dei due vertici è espres-
sa dalla formula seguente (E è l’insieme degli archi, V quello dei
nodi).
F(v) =
L’impatto di questo algoritmo sulla struttura visuale di cono-
scenza è molto interessante, in quanto i concetti “liberi” da rela-
zioni sono anche i più mobili nello spazio, mentre quelli che ma-
no a mano si collegano divengono più vincolati e formano co-
stellazioni di idee correlate.
Questo algoritmo si presta molto bene all’aggiunta e rimo-
zione di nodi. Quando un oggetto fisico è sul tavolo la sua rap-
presentazione digitale è strettamente vincolata alla posizione del
tag fiduciale. In quel momento tale oggetto è sempre incluso nel-
la simulazione, ma agisce solo come carica elettrica senza subire
spostamenti dovuti ad altre cariche o molle.
L’esperienza utente in CognitiveDesktop è stata interessante
ed illuminante. Il paradigma di interazione attraverso gli oggetti
tangibili si è dimostrato molto adatto all’esplorazione di strutture
cognitive visuali pre-esistenti, mentre si è palesata l’esigenza di
altri metodi più diretti per poter modificare le reti semantiche
sottostanti. Questi argomenti sono stati affrontati con
l’applicazione tabulaGraph, sviluppata sulla piattaforma tabula-
Touch.
APPLICAZIONI REALIZZATE 147

5.2 tabulaGraph
TabulaGraph è un’applicazione che si concentra sulla crea-
zione e modifica di mappe concettuale da parte di più utenti. Es-
sendo costruita per la piattaforma tabulaTouch, eredita tutta
l’espressività degli eventi generabili dalla superficie multi-tocco,
per cui è stato creato un particolare linguaggio di interazione.
Gli elementi visualizzati non sono solo concetti o relazioni, ma
anche elementi multimediali a questi collegati. Per questo moti-
vo la visualizzazione degli elementi è organizzata su vari livelli,
come descritto nelle sezioni successive.
5.2.1 Linguaggio di interazione
Il linguaggio di interazione su cui si basa tabulaGraph è
un’estensione del paradigma generale di Rotate & Translate de-
scritto precedentemente. Gli oggetti particolari che appartengono
al dominio dell’applicazione sono i Concetti e le Relazioni.
I Concetti sono raffigurati come stringhe di testo di
lunghezza arbitraria.
Le Relazioni sono raffigurate come curve che connet-
tono due concetti, congiuntamente ad una freccia che
indica la direzione del collegamento.
Le principali azioni per la creazione di una mappa concettua-
le sono le seguenti:
APPLICAZIONI REALIZZATE 149

Creazione di un Concetto. L’utente può utilizzare una tastie-
ra virtuale, spostabile e ridimensionabile come ogni altro ogget-
to, scrivendo testo esattamente come con dispositivo fisico. Il te-
sto viene riportato sopra di essa, ed è anch’esso trascinabile in
qualsiasi zona visibile della mappa. A questa azione corrisponde
l’immissione di un nuovo concetto.
Figura 51. TabulaGraph, creazione di un concetto
Creazione di una Relazione. Le relazioni vengono create ef-
fettuando un “click” (che in tabulaTouch corrisponde ad un re-
pentino tocco di un oggetto attivo) su un concetto. A questa a-
zione corrisponde la generazione di una relazione potenziale, nel
senso che l’arco ha origine nel concetto toccato e la freccia è li-
bera. In questo stato la relazione rimane per un certo tempo come
oggetto attivo, dopo di che si dissolve.
L’utente può quindi trascinare la freccia verso un altro con-
cetto, stabilendo una relazione. L’oggetto grafico diventa una
curva passante per tre punti, di cui il primo e l’ultimo sono la po-
sizione dei concetti collegati, mentre il punto intermedio è quello
dove è possibile immettere un’etichetta che identifica la relazio-
ne.
150 APPLICAZIONI REALIZZATE

Figura 52. TabulaGraph, creazione di una relazione.
Modifica di una Relazione. Trascinando la freccia di una re-
lazione esistente è possibile modificare il collegamento. Se il tra-
scinamento avviene in una zona libera della mappa, la relazione
torna nello stato potenziale. Se, invece, viene portata su un di-
verso concetto si stabilisce una nuova relazione.
Cancellazione di un Concetto o Relazione. E’ possibile ri-
muovere concetti e relazioni trascinandoli su un simbolo posto ai
piedi dello schermo.
Per aumentare l’espressività dell’applicazione, sono stati in-
trodotte due ulteriori modalità (che normalmente non sono com-
prese tra le caratteristiche di base delle mappe concettuali).
Collegamento di un elemento multimediale. E’ possibile
prelevare un oggetto multimediale da una barra posta ai lati dello
schermo, sia esso un’immagine o un video. Nelle mappe gli og-
getti multimediali divengono molto utili per aumentare la comu-
nicazione visuale della struttura: possono essere utilizzati come
sfondo, oppure essere collegati ai concetti. Trascinando un og-
getto su un concetto, questo diviene parte dell’”orbita”di
quell’argomento, rimanendo vincolato a fluttuare in una zona
prossima alla posizione.
APPLICAZIONI REALIZZATE 151

Figura 53. TabulaGraph, scelta di elementi multimediali
Scelta di Concetti. Invece di dover scrivere ogni concetto
sulla tastiera, è possibile sceglierli attraverso una seconda barra
laterale. I concetti presenti possono essere parte di un’ontologia,
oppure essere aggiornati in tempo reale in base alle parola at-
tualmente presenti sulla mappa.
Figura 54. TabulaGraph, scelta dei concetti.
Per conservare la visibilità della mappa, l’intero schermo
viene “inclinato” nello spazio tridimensionale, lasciando lo spa-
zio alla barra di scelta.
Il layout degli oggetti Concetto, Relazione ed elemento mul-
timediale è definito come un grafo auto-organizzante (vedi sez.
5.1.1) similarmente a CognitiveDesktop. In generale i Concetti
sono sempre in stato di “lock” ovvero bloccati su una certa posi-
152 APPLICAZIONI REALIZZATE

zione, mentre la parte mobile delle Relazioni (ovvero la loro eti-
chetta) viene respinta dalla carica elettrica dei concetti e relazio-
ni limitrofe, cercando la posizione più libera che mantenga i vi n-
coli di relazione. Questo sistema si è dimostrato molto efficace
per aumentare la leggibilità delle mappe create.
Figura 55. TabulaGraph, layout auto-organizzante tramite FDG.
La mappa ha un’estensione arbitraria, ed attraverso i consue-
ti gesti di rotazione e traslazione, l’intero sfondo può essere spo-
stato, ruotato ed ingrandito. In questo modo, l’utilizzo
dell’applicazione su un tavolo è facilitata, in quanto
l’orientamento di ogni elemento è decidibile, ed all’occorrenza
l’intera mappa può essere orientata verso l’interlocutore.
Attraverso tabulaGraph l’utente può costruire una struttura
cognitiva visuale, l’insieme di questi concetti e relazioni è in una
particolare relazione con lo sfondo dell’applicazione che ne rap-
presenta il contesto. Se nella modalità predefinita lo sfondo è
neutro ed è solo uno spazio vuoto dove organizzare i contenuti,
in altre modalità lo sfondo può divenire il modo di ri-organizzare
il materiale esistente per mostrare altri aspetti. E’ stata quindi
studiata e sperimentata la seguente tecnica chiamata Contesto,
Contenuti e Livelli.
APPLICAZIONI REALIZZATE 153

5.2.2 Contesto, Contenuti e Livelli
Il layout visuale di un’interfaccia è largamente dipendente
dal livello di complessità dell’applicazione. Per esempio le ap-
plicazioni desktop hanno una grande quantità di opzioni e co-
mandi, nell’ordine delle centinaia o migliaia, e riducono questa
complessità tramite astrazioni gerarchiche (menu a tendina etc).
In applicazioni ad interfaccia naturale per la creazione di co-
noscenza come tabulaGraph il focus non deve essere totalmente
sulla produzione, ma anche sul supporto al processo di ragiona-
mento; questo porta ad interfacce più semplici e che cercano di
mantenere un livello di astrazione comune tra tutti i partecipanti.
Infatti, accedendo a livelli di astrazione diversi (tramite gli appo-
siti widget 12 , come i menu gerarchici) gli utenti si ritroverebbero
presto a vivere esperienze separate e simili ad applicazioni mo-
no-utente, con un effettiva diminuzione della dinamica collabo-
rativa.
Una soluzione a questo problema è considerare i contenuti
principali dell’applicazione (nel caso di tabulaGraph i Concetti)
come invarianti, e dare agli utenti la possibilità di cambiare i
contesti sui quali questi vengono organizzati, prevedendo per
ogni oggetto uno o più livelli di informazioni supplementari.
Per cambiare un contesto (in questo caso lo sfondo
dell’applicazione) è necessario il consenso di tutti gli utenti, que-
sta è una dinamica che il gruppo deve gestire con gli usuali stru-
menti del confronto e del dialogo.
12
Termine inglese che identifica un elemento di interfaccia: menu, bottoni,
checkbox etc.
154 APPLICAZIONI REALIZZATE

In ogni contesto gli oggetti principali mantengono la loro
forma visuale (i Concetti rimangono parole) ma il resto
dell’interfaccia può cambiare completamente, individuando un
luogo diverso dove questi possono essere organizzati rispetto ad
una diversa metrica. Come esempio si può pensare ad un conte-
sto storico, dove i concetti vengono sistemati su una linea dei
tempi, oppure ad uno geografico, dove le varie parole si distri-
buiscono su una cartina.
I livelli di informazione hanno una diversa funzione, che si
ripercuote sull’estetica della visualizzazione. La loro natura è
temporale ed evanescente, nel senso che le informazioni extra
appaiono superimposte all’oggetto e spariscono dopo un tempo
se non vengono usate e lo stesso sistema può essere usato per
mostrare una scelta di opzioni da applicare all’oggetto.
La tecnica descritta mira a diminuire la complessità appiat-
tendo il numero delle opzioni possibili e stimolando gli utenti a
ragionare sempre sullo stesso insieme di elementi, e sotto le stes-
se circostanze. Può essere adattata a diversi scenari e condizioni,
come schermi di diversa forma e dimensione, muri verticali o ta-
voli. In ognuno di questi casi l’affordance dello spazio di visua-
lizzazione è chiaramente comunicato come descritto in figura 56.
Lo strato inferiore (sfondo) è quello che identifica il contesto at-
traverso un particolare stile visuale che rappresenta la metrica
applicata e le funzioni disponibili. Lo strato intermedio contiene
sempre gli oggetti principali dell’interazione, e quello superiore
identifica i livelli di informazione supplementare che solitamente
vengono visualizzati con effetti di trasparenza per generare la
minor occlusione possibile.
APPLICAZIONI REALIZZATE 155

Figura 56. Il paradigma Contesto, Contenuti e Livelli
156 APPLICAZIONI REALIZZATE

5.3 Tangerine Tales
Nel corso dell’attività di ricerca è stata intrapreso un proget-
to congiunto con la scuola di psicologia dell’università di Not-
tingham, per la creazione di un’applicazione di StoryMaking di-
gitale rivolta a bambini di 7-8 anni, utilizzando la piattaforma
TANGerINE.
Le applicazioni di StoryMaking (Ananny, 2001) permettono
a più bambini di collaborare nella creazione di una storia inven-
tata, esattamente come avviene sui banchi di scuola. Invece di
carta e penna, o di pupazzi e oggetti, sono state create nel corso
degli anni anche applicazioni per computer, ma la modalità di
input tradizionale (mouse è tastiera) si è sempre dimostrata ina-
datta al contesto creativo.
Per questo motivo è nata l’esigenza di dotare i ragazzi di al-
tre modalità di interazione che supportino il clima di collabora-
zione informale ed non distorcano le esistenti dinamiche. Al con-
trario, lo scopo del progetto è quello di aumentare l’interesse, il
coinvolgimento ed il divertimento, per rendere gli obiettivi edu-
cativi ancora più raggiungibili.
In Tangerine Tales i bambini hanno a disposizione una piat-
taforma interattiva arricchita di funzionalità che permette loro di
usare contenuti digitali animati. Questi possono essere scelti di
comune accordo, spostati, attivati ed arricchiti di dialoghi e suoni
registrati dai bambini. La produzione finale è una storia che può
essere riprodotta proprio come un film.
L’utilizzo dell’interazione tangibile non mediata da disposi-
tivi di input tradizionali mira a realizzare i seguenti obiettivi:
APPLICAZIONI REALIZZATE 157

Supporto del ruolo attivo del bambino nei confronti della
storia: la maggior parte delle applicazioni commerciali
per bambini vedono il bambino come fruitore di storie,
non come autore di storie. E se si vuole facilitare
l’acquisizione di capacita’ comunicative bisogna insegna-
re a creare una struttura.
Facilitazione della riflessione sulla struttura della storia:
nessuna applicazione per StoryMaking è mirata specifi-
camente a incoraggiare la riflessione sulla storia.
Facilitazione della riflessione sui personaggi (emozioni,
pensieri, aspetto fisico ecc.).
Supporto alla partecipazione distribuita: poche applica-
zioni per lo StoryMaking incoraggiano la partecipazione
distribuita, nel senso di dare la possibilità a tutti i bambi-
ni coinvolti di partecipare.
Facilitazione del dialogo finalizzato alla co-costruzione:
la maggior parte delle applicazioni esistenti sembrano i-
gnorare questo aspetto. Se si vuole facilitare
l’acquisizione di capacità di negoziazione e collaborazio-
ne, bisogna facilitare il dialogo.
Questa esperienza, sebbene rivolta ai bambini, è interessante
per ragionare sull’aspetto “stimolante” dell’interazione tangibile,
che può essere traslato anche a molte altre attività e a diversi tipi
di pubblico.
L’applicazione ha richiesto inoltre uno studio approfondito
della grafica sia degli sfondi che dei personaggi, che fosse in li-
nea con le motivazioni psico-pedagogiche di base ed adatta ad un
pubblico di bambini che non ha ancora pienamente sviluppato il
livello simbolico visuale. La figura sottostante (figura 56) illustra
lo stile che è stato utilizzato, rifacendosi a personaggi di flanella
158 APPLICAZIONI REALIZZATE

così come possono essere trovati anche nella realtà. Le anima-
zioni sono state studiate in modo da poter essere applicate ad un
insieme minimo di elementi (occhi, sopracciglia, bocca) e quindi
essere adattabili a più personaggi.
Figura 57. TangerineTales, sfondo e personaggi animati.
Figura 58. TangerineTales, posizionamento automatico dei personaggi
rispetto al cubo del bambino attivo.
5.3.1 Fasi dell’applicazione
L’applicazione è basata su fasi e turni ed è pensata per due
bambini alla volta. Questa scelta è stata dettata dall’esigenza di
APPLICAZIONI REALIZZATE 159

studiare la resa della collaborazione prima di introdurre più inter-
locutori.
In ogni ciclo entrambi i bambini hanno a disposizione un cu-
bo nel ruolo di avatar, ma solo uno dei due bambini è attivo e
può generare gli eventi determinanti per la storia. L’altro bambi-
no, può comunque partecipare inserendo eventi di contorno che
comunque sono molto importanti per la storia stessa.
La motivazione dei turni è pedagogica e relativa all’età dei bam-
bini destinatari dell’applicazione, che richiede una moderazione
di alcune fasi del gioco per evitare che i bambini più passivo non
partecipino.
Prima Fase, Scelta dello Scenario.
La scelta degli scenari avviene utilizzando i cubi, ogni faccia
corrisponde ad uno scenario. La logica di scelta comune, è la se-
guente:
Ogni cubo contiene 6 possibilità legate alle facce, tra le
quali la scelta attuale è la faccia attiva.
Visualmente viene rappresentata sia la scelta attuale che
le altre scelte possibili.
La visualizzazione avviene sempre, sia che i cubi siano
sul tavolo, sia che siano in mano all’utente attorno al ta-
volo. Nel primo caso le informazioni sono proiettate con-
testualmente alla posizione del cubo, tenendo conto della
sua rotazione. Nel secondo caso, la posizione della vi-
sualizzazione è arbitraria.
La scelta comune avviene quando entrambi i cubi sono
sul tavolo e visualizzano la stessa scelta per un certo
tempo.
160 APPLICAZIONI REALIZZATE

Questa fase termina quando i bambini scelgono lo scenario
comune e procedono.
Figura 59. TangerineTales, fase 1: scelta dello scenario.
Seconda Fase, Scelta del Personaggio.
Lo scenario scelto si espande a metà schermo. Con lo stesso
meccanismo di scelta comune, entrambi i bambini devono sce-
gliere lo stesso personaggio per renderlo attivo.
Figura 60. TangerineTales, fase 2: scelta del personaggio.
Terza Fase, Scelta dell’Emozione
I bambini scelgono lo stato emotivo del personaggio sce-
gliendo un icona che lo rappresenta. Girando le facce dei loro
APPLICAZIONI REALIZZATE 161

cubi vengono visualizzate le icone vicino al personaggio, con un
elemento visuale che si riferisce al cubo del bambino. Solo
quando queste sono identiche si uniscono e decretano lo stato
emotivo del personaggio. Anche in questo caso, il cubo può esse-
re utilizzato sopra il tavolo o fuori da esso.
Figura 61. TangerineTales, fase 3: scelta dello stato emotivo.
Quarta Fase, Gioco e Posizionamento
Il bambino 1 ha il ruolo attivo, il suo cubo è illuminato da
un’area circolare. Il personaggio segue gli spostamenti del cubo
nello scenario, e può in questo modo essere posizionato in qual-
siasi area. Il bambino 2 ha il ruolo passivo, può usare il suo cubo
cambiando faccia generando degli eventi sonori/visuali di
background (es: animazione del volo degli uccelli, cambiamento
della luce solare, suono del vento o temporale etc..).
Lo scenario può essere disseminato di aree attive, piccole
animazioni legate ad oggetti del background, entrambi i bambini
possono avvicinare il cubo ad esse e vedere l’animazione, facen-
dosi ispirare. Lo scenario è disseminato anche delle registrazioni
precedenti (o dell’ultima per ogni personaggio) sotto forma della
faccina del personaggio, entrambi i bambini possono risentirle
avvicinando il proprio cubo ad esse. Il bambino 1 decreta la fase
162 APPLICAZIONI REALIZZATE

di inizio registrazione cambiando la faccia del suo cubo, che in
questo caso ha 2 stati (3 facce sono per lo spostamento, 3 facce
sono per la registrazione).
Figura 62. TangerineTales, fase 4: spostamento personaggio.
Quinta Fase, Registrazione dell’episodio
Il bambino attivo può registrare un brano audio fino a che
l’icona è presente, il che accade fino a che non si cambia faccia
al cubo o non si raggiunge un tempo di registrazione massimo.
Dopo la registrazione viene lasciata in quel punto l’icona del
personaggio determinante lo stato emotivo, e viene riprodotta
l‟intera sequenza fino a quel momento. Lo stato della registra-
zione comprende anche l’eventuale animazione dell’area attiva
(se in prossimità di essa) e gli eventi di background scelti dal
bambino passivo.
APPLICAZIONI REALIZZATE 163

Figura 63. TangerineTales, fase 5: registrazione dell’episodio.
Nuovo Ciclo
Si ripetono le fasi dalla seconda alla quinta, la scelta del
nuovo personaggio avviene come la prima volta. Il bambino atti-
vo e passivo si scambiano i ruoli. La scelta del nuovo personag-
gio avviene esattamente come la prima volta, la memoria della
storia e del contesto attuale viene mantenuta durante la scelta.
Figura 64. TangerineTales, nuovo ciclo: scambio dei ruoli e scelta
nuovo personaggio.
164 APPLICAZIONI REALIZZATE

5.3.2 Stato dell’arte
Tangerine Tales è attualmente in fase di sviluppo: sono state
prototipate le fasi dell’applicazione ed è stato creato l’ambiente
grafico interattivo usando tecnologia Flash.
L’interattività del Cubo sul tavolo, utilizzando un setup a
fronto-proiezione, è stata studiata attraverso un’applicazione di
prova che traduce la posizione e l’orientamento del cubo in sim-
boli visuali.
Figura 65. TangerineTales, interfaccia di test.
In questo modo, avendo un feedback immediato dello strato
di sensing, è stato possibile individuare e gestire alcuni casi criti-
ci, in particolare:
L’utilizzo di lenti wide-angle produce una distorsione
anche sulla matrice LED rilevata dal sistema di se n-
sing, questo porta a minore affidabilità quando il cubo
è ai bordi del tavolo. La zona “attiva” è stata quindi
ridotta all’interno dei bordi della superficie rilevata.
Il rumore nell’individuazione dell’orientamento del
cubo produce un effetto di tremolio del feedback gr a-
APPLICAZIONI REALIZZATE 165

fico (nel caso in esame, un raggio di luce proveniente
da una faccia del cubo). E’ stato applicato uno smoo-
thing per ridurre il rumore e rendere più piacevole e
fluida questa azione.
Tangerine Tales è stato pensato per poter essere testato pres-
so scuole primarie, per questo motivo è in corso di realizzazione
un setup “portatile” con rilevazione dal basso del tavolo e proie-
zione laterale tramite ottiche di proiezione wide.
Figura 66. TangerineTales, setup compatto e portatile.
Dedicando l’utilizzo di uno dei lati del tavolo alla struttura
per la proiezione, l’intera architettura sarà utilizzabile su un tavo-
lo che abbia una superficie trasparente in modo da far passare la
luce infrarossa dei cubi appoggiati.
166 APPLICAZIONI REALIZZATE

Capitolo 6
Conclusioni
Attraverso il processo di ingegnerizzazione delle piattaforme
per l’interazione naturale tabulaTouch e TANGerINE, l’autore ha
potuto applicare tecnologie e tecniche di computer vision per
realizzare contesti in cui più utenti possono agire contemporane-
amente su oggetti digitali.
Questa caratteristica è stata ritenuta indispensabile per poter
indagare, grazie al design e sviluppo di applicazioni per le piatta-
forme sopra-citate, sul supporto della tecnologia al processo cre-
ativo di condivisione di conoscenza. Durante lo svolgimento del-
la ricerca è stato possibile osservare gli utenti, e restringere que-
ste osservazioni a tre argomenti principali: l‟utilizzo del disposi-
tivo, l‟utilizzo dell‟interfaccia e l‟interazione tra gli utenti.
Gli utenti che non avevano mai utilizzato i tavoli interattivi
hanno subito manifestato un grande stupore ed in poco tempo
hanno sondato indipendentemente le nuove possibilità che questi
offrivano, dimostrando che un metodo di interazione naturale
pone l’utilizzatore in una istintiva modalità esplorativa.
L’autore ha rilevato una grande differenza tra il primo utiliz-
zo ed i successivi, sorprendentemente quasi subito è nata
l’esigenza da parte dei nuovi utenti di proporre altre possibilità, e
quindi di divenire a loro volta designer dell‟esperienza. Dal
momento dell’inizio della ricerca alla sua conclusione, nell’arco
di tre anni di tempo, il mondo tecnologico è molto cambiato pro-
prio relativamente ai dispositivi interattivi in commercio. Prodot-
CONCLUSIONI 167

ti come l’iPhone o la console Nintendo Wii hanno contribuito a
disseminare un nuovo modo di concepire i dispositivi per intera-
gire con la tecnologia. L’autore ha potuto infatti rilevare che i
più recenti tester avevano questi prodotti come riferimento e
confrontavano continuamente ciò che veniva proposto loro con
quello che già conoscevano. Questa dinamica si è dimostrata più
utile della precedente, in quanto gli utenti erano più propensi
all’utilizzo, meno affascinati dal livello di pura interazione, e già
proiettati verso le applicazioni possibili.
La seconda categoria di osservazioni riguarda le enormi po-
tenzialità della visualizzazione interattiva della conoscenza.
L’applicazione tabulaGraph è stata usata in contesti reali per
prendere appunti e condividerli in tempo reale con i partecipanti.
Rispetto ai tradizionali metodi di annotazione, la possibilità di
gestire una reale struttura cognitiva visuale ha dimostrato molti
vantaggi. Tra i primi vi è la possibilità di una continua modifica
della struttura, per adattarsi all’esperienza che, in un contesto
Faccia-a-Faccia, è costantemente in evoluzione. Sempre la modi-
ficabilità è stato fattore determinante per il coinvolgimento degli
utenti: non avendo più la paura di “sporcare” il foglio condiviso,
gli utenti si sono espressi più liberamente ed informalmente, por-
tando la loro comprensione degli argomenti sotto forma di nuovi
concetti e relazioni.
Una dinamica simile è stata osservata anche in Tangerine
Tales e CognitiveDesktop, dove l’elemento tangibile è stato ulte-
riormente accettato dagli utenti come un elemento “giocoso ed
informale” dell’interfaccia.
Utilizzando queste interfacce e queste modalità di interazio-
ne gli utenti sono rimasti molto di più sul piano sociale, contra-
riamente a quanto accade quando in riunioni o meeting si fa uso
168 CONCLUSIONI

di dispositivi personali. L’autore ha osservato un dialogo conti-
nuo, interessato ed appassionato, sia sulla novità dell’esperienza
sia sull’obiettivo della collaborazione.
Questo progetto di ricerca è stato un tentativo di contribuire
all’evoluzione della Human-Computer Interaction, per quanto ri-
guarda gli scenari di condivisione di conoscenza. Il contesto so-
ciale co-locato ha infatti ancora bisogno di nuove modalità per
permettere ai gruppi di lavoro di interagire tra di loro e con la
conoscenza stessa. Per supportare efficacemente questo scenario,
l’intero concetto di interazione con gli oggetti fisici e digitali de-
ve essere ripensato con in mente un obiettivo: creare un frame-
work flessibile in cui gli elementi della conoscenza possano esse-
re facilmente acceduti, collegati e condivisi.
Tutto questo è possibile seguendo le nuove linee guida
dell’Interazione Naturale, che rende possibile l’integrazione di
nuova ed innovativa tecnologia mantenendo inalterata l’essenza
dell’esperienza di collaborazione.
CONCLUSIONI 169

Bibliografia
Alavi, M., & Leidner, D. (2001). “Knowledge Management
and Knowledge Management Systems: Conceptual Foundations
and Research Issues. MIS Quarterly , p. 107-136.
Ananny, M. (2001). TellTale: A toy to encourage written
literacy skills through oral storytelling. Presentation at Winter
Conference on Text, Discourse & Cognition . Jackson Hole,
WY.
Appelius, J., & Dumas, F. (2001). Lightable. Tratto da
http://www.julianappelius.de/englishversion/Lightable.html
Apperley, M., Dahlberg, B., Jeffries, A., Paine, L., Phillips,
M., & Rogers, B. (2001). Development and application of large
interactive display surfaces. Symposium on Human Computer
Interaction. Palmerston North, New Zealand.
Baker, M. (2002). Forms of Cooperation in Dyadic Problem-
Solving. In Revue d'Intelligence Artificielle (p. 587-620).
Baraldi, S. (2005). wikiWall: Interazione Naturale Multi-
Utente per il Brainstorming” (MSc thesis). Bologna: University
of Bologna.
Bérard, F. (2003). The Magic Table: Computer-Vision
Based Augmentation of a Whiteboard for Creative Meetings.
CD-ROM proceedings of the IEEE International Conference in
Computer Vision, Workshop on Projector-Camera Systems
(PROCAMS'03). Nice, France.
BIBLIOGRAFIA

Bereiter, C., & Scardamalia, M. (2001). Learning to work
creatively with knowledge. In E. D. Corte, L. Verschaffel, N.
Entwistle, & J. V. Merrienboer, Powerful learning
environments: Unravelling basic components and dimensions (p.
73-78). Oxford: Elsevier Science.
Burbeck, S. (1987). Applications Programming in Smalltalk-
80(TM): How to use Model-View-Controller (MVC).
Buxton, B. (1997). Living in Augmented Reality: Ubiquitous
Media and Reactive Environments. In K. Finn, A. Sellen, & S.
Wilber, Video Mediated Communication (p. 363-384). Hillsdale,
N.J.: Erlbaum.
Buxton, W., & Myers, B. (1986). A study in two-handed
input. Proceedings of CHI '86, (p. 321-326).
Card, S., Mackinlay, J., & Shneiderman, B. (1999). Readings
in Information Visualization; Using Vision to think. Los Altos,
CA: Morgan Kaufmann.
Carstensen, P., & Schmidt, K. (1999). Computer Supported
Cooperative Work: New challenges to systems design. In
Handbook of human factors.
Cunningham, W., & Leuf, B. (2001). The Wiki Way: Quick
Collaboration on the Web. Addison-Wesley Longmann.
Del Bimbo, A., Landucci, L., & Valli, A. (2006). Multi-User
Natural Interaction System based on Real-Time Hand Tracking
and Gesture Recognition. Proceedings of 18th International
Conference on Pattern Recognition, 2006. ICPR 2006.
Dempski, K., & Harvey, B. (2002). Natural Support for
Multi-User High Definition Visualization and Collaboration.
Accenture Technology.
BIBLIOGRAFIA

Dey, A., Kortuem, G., Morse, D., & Schmidt, A. (2001).
Situated Interaction and Context-Aware Computing.
Proceedings of Personal Ubiquitous Computing Conference.
Dietz, P., & Leigh, D. (2001). DiamondTouch: A Multi-User
Touch Technology. In Proceedings of the 14th Annual ACM
Symposium on User Interface Software and Technology. UIST
‟01 (p. 219-226). New York, NY: ACM Press.
Dourish, P. (2001). Where the Action Is, The Foundations of
Embodied Interaction. MIT Press .
Eades, P. (1983). A heuristic for graph drawing. In
Proceedings of the 13th Manitoba Conference on Numerical
Mathematics. Winnipeg, Canada: Utilitas Mathematica.
Eppler, M., & Burkard, R. (2004). Knowledge Visualization.
Towards a New Discipline and its Fields of Application. In D.
Schwartz, Encyclopedia of Knowledge Management. Lugano:
Idea Group.
Farella, E., Pieracci, A., Brunelli, D., Acquaviva, A., Benini,
L., & Riccò, B. (2005). Design and Implementation of WiMoCA
Node for a Body Area Wireless Sensor Network. In proceedings
of the IEEE International Conference on SensorNetworks
(SENET), (p. 342-347). Montreal, Canada.
Fishkin, K. (2004). A taxonomy for and analysis of tangible
interfaces. In Personal and Ubiquitous Computing.
Gibson, J. (1977). The Theory of Affordances. In R.Shaw, &
J. Bransford, Perceiving, Acting and Knowing. Hillsdale, NJ:
Erlbaum.
Grudin, J. (1991). CSCW: the Convergence of Two
Development Contexts. Proceedings of the SIGCHI Conference
BIBLIOGRAFIA

on Human Factors in Computing Systems, (CHI‟91). New
Orleans, Luisiana, USA.
Han, J. (2005). Low-Cost Multi-Touch Sensing through
Frustrated Total Internal Reflection. In Proceedings of the 18th
Annual ACM Symposium on User Interface Software and
Technology.
Heath, C., & Luff, P. (1992). Collaboration and Control:
Crisis Management and Multimedia Technology in London
Underground Line Control Rooms. Journal of Comp. Supported
Cooperative Work , 24-48.
Hewett, B. C. (1992). ACM SIGCHI Curricula for Human-
Computer Interaction.
Hornecker, E., & Buur, J. (2006). Getting a Grip on Tangible
Interaction: A Framework on Physical Space and Social
Interaction. Proceedings of CHI 2006, (p. 437-446.).
Ishii, H., & Ullmer, B. (1997). Tangible Bits: Towards
Seamless Interfaces between People, Bits and Atoms.
Proceedings of the ACM CHI 97 Human Factors in Computing
Systems Conference.
J.Letessier, & F.Bérard. (2004). Visual tracking of bare
fingers for interactive surfaces. Proceedings of the 17th annual
ACM symposium on User interface software and technology
(UIST'04).
Jordà, S., Kaltenbrunner, M., Geiger, G., & Bencina, M.
(2005). The reacTable. Proceedings of the International
Computer Music Conference (ICMC2005). Barcelona, Spain.
Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K., &
Tachibana, K. (2000). Virtual Object Manipulation on a Table-
BIBLIOGRAFIA

Top AR Environment. In proceedings of the International
Symposium on Augmented Reality, (ISAR 2000), (p. 111-119).
Munich, Germany.
Laterza.
Legrenzi, P. (2002). Prima lezione di scienze cognitive.
Marsic, I., Medl, A., & Flanagan, J. (2000). Natural
communication with information systems. Piscataway, NJ, USA:
Rutgers University.
Mazalek, Reynolds, & Davenport. (2006). TViews: An
extensible architecture for developing multi-user digital media
tables. IEEE Computer Graphics & Applications, Special Issue
on Interacting with Digital Tabletops , 47-55.
McAvinney, P. (1986). The Sensor Frame - A Gesture-Based
Device for the Manipulation of Graphic Objects. Carnegie-
Mellon University.
Nadin, M. (1988). Interface design: A semiotic paradigm.
Semiotica , 69-3/4.
Norman, D. (2005). Emotional Design. Basic Books.
Norman, D. (1988). The Psychology of Everyday things.
Patten, J., Ishii, H., Hines, J., & Pangaro, G. (2001).
Sensetable: A wireless Object Tracking Platform for Tangible
User Interfaces. Proceedings of ACM CHI 2001.
Prante, T., Streitz, N., & Tandler, P. (2004). Roomware:
Computers Disappear and Interaction Evolves. IEEE Computer
Society .
BIBLIOGRAFIA

Rekimoto, J. (2002). SmartSkin: An Infrastructure for
Freehand Manipulation on Interactive Surfaces. Proceedings of
ACM SIGCHI.
Rudd, T. (2007). Interactive Whiteboards in the Classroom.
Tratto da FutureLab:
http://www.futurelab.org.uk/events/listing/whiteboards/report
Ryall, K., Morris, M. R., Everitt, K., Forlines, C., & Shen, C.
(2006). Experiences With and Observations of Direct-Touch
Tables. IEEE International Workshop on Horizontal Interactive
Human-Computer Systems (TableTop 2006).
Schmidt, A., Schmidt, D., Holleis, P., & Krantz, M. (2005).
A Display Cube as a Tangible User Interface. Proceedings of the
International Conference on Ubiquitous Computing 2005.
Schmidt, K. (1999). The critical role of workplace studies in
CSCW. In Heath, Hindmarsh, & Luff, Workplace Studies:
Recovering Work Practice and Informing Design. Cambridge:
Cambridge University Press.
Scott, S., Grant, K., & Mandryk, R. (2003). System
Guidelines for Co-located, Collaborative Work on a Tabletop
Display. Proceedings of ECSCW‟03, European Conference
Computer- Supported Cooperative Work. Helsinki, Finland.
Spence, B. (2000). Information Visualization. ACM Press.
Tse, E., & Greenberg, S. (2004). Rapidly Prototyping Single
Display Groupware through the SDGToolkit. Proceedings of
Fifth Australasian User Interface Conference (p. 101-110).
Australian Computer Society Inc.
Ullmer, B., & Ishii, H. (2001). Emerging frameworks for
tangible user interfaces. In J. M. Carroll, Human-computer
BIBLIOGRAFIA

interaction in the new millennium (p. 579-601). Reading,
Massachussets, USA: Addison-Wesley.
Ullmer, B., & Ishii, H. (1997). The metaDESK: Models and
Prototypes for Tangible User Interfaces. Proceedings of
Symposium on User Interface Software and Technology UIST
'97.
Underkoffler, J. (2008). Oblong Industries. Tratto da
http://oblong.com/
Valli, A. (2007). Natural Interaction White Paper. Tratto da
Natural Interaction:
http://www.naturalinteraction.org/NotesOnNaturalInteraction.pd
f
Wellner, P. (1993). Interacting with Paper on the Digital
Desk. Communications of the ACM , 87-96.
Wellner, P. (1991). The DigitalDesk Calculator Tactile
manipulation on a desktop display. Proceedings of the Fourth
Annual Symposium on User Interface Software and Technology
(UIST '91).
BIBLIOGRAFIA