Uppsats - Chalmers tekniska högskola

den 28 oktober 2003
Uppsats
MDI / Interaktionsdesign – Grafiska Gränssnitt (TDA 490)
Robert Larsson
730409-4977
d00larro@dtek.chalmers.se
Chalmers Tekniska Högskola – Datavetenskap
Data- och informationsteknik
HT 2003

Inledning
Denna uppsats har fördjupning i en aspekt av kursen som syfte. Valet av uppsatsämne är
sammanställning av två eller flera relevanta artiklar från ett annat ämne.
Två ämnen tas upp: alternativa gränssnitt och inmatningsdon.
De artiklar som uppsatsen behandlar är dels tagna från kurskompendiet till kursen
Kognitionsteknologiska seminarier (TDA 270) som ges på institutionen Datavetenskap vid
Chalmers, dels en artikel som ingår i litteraturen till den aktuella kursen, Interaktionsdesign –
Grafiska Gränssnitt (TDA 490).
Hänsyn är tagen till artiklarnas relevans till innehållet i kursen. Specifikt har valet av
respektive artikel som presenteras nedan försökt lyfta fram nya, alternativa, grafiska
gränssnitt än det traditionella sättet med tvådimensionell presentation av information på en
15-17 tums monitor, och på nya möjliga inmatningsdon som stödjer alternativa
interaktionssätt. Mer naturliga kommunikationssätt än de traditionella är en utveckling som är
ständigt pågående och förhoppningen är att läsaren skall se dessa alternativ som en möjlig
utveckling av de traditionella interaktionsmetoderna.
Artikeln ”Collaborative augmented reality” - (kollaborativ förstärkt
verklighet) alternativa gränssnitt-augmented reality, KogSem-kursen
Skapa virtuella 2D- eller 3D-gränssnitt som ligger över verkliga objekt med hjälp av s k headmounted
displays (HMD) eller handburna dito, med det långsiktiga målet att dessa gränssnitt
sömlöst smälter samman med den fysiska världen och ge intrycket att det virtuella gränssnittet
är oskiljaktigt från den fysiska världen.
Artikeln nämner att sådana system avsedda för en ensam användare existerar och
utvecklingen visar på att dessa system blir bättre och bättre på att uppfylla målet med
sömlöshet.
Egen erfarenhet av att testa ett liknande system för en användare som använder sig av en
kombination av handburet inmatningsdon i form av en modifierad datormus som bärs i
handen tillsammans med ett HMD-system visade en känsla av att vara närvarande i den
virtuella motsvarigheten av kårhuset på Chalmers som programmerats in i systemet, se
Figur 1 nedan och [1]. Ett påtagligt problem var att hastigheten hos processorn (400 MHz) för
det aktuella HMD-systemet var för låg vilket gjorde att det kändes som att den virtuella
överlagringen var tidsförskjuten (”laggade” uttryckt i datorslang). Troligtvis hade en snabbare
processor avhjälpt detta problem.
Ett annat irriterande problem var hur man skall fokusera blicken. Djupseendet blir förskjutet.
Det uppstår två djup, ett från den fysiska världen och ett från den virtuella överlagrade
världen, vilket gör det tröttsamt för ögonen att använda systemet en längre tid.
Artiklen tar också upp detta som en framtida forskningsutmaning som måste lösas på ett
smidigare sätt.
den 28 oktober 2003 1

Figur 1. Författaren av denna uppsatsen genomförandes ett test av ett HMD-system i
Chalmers kårhus. Testet utfördes för en studentprojektgrupp på Chalmers Datatekniksektion.
Vilka användningsområden kan man tänka sig att ett HMD-system för en användare har ?
Om vi gör en jämförelse med användningsområdet för ett traditionellt stationärt datorsystem
med en skärm som gränssnitt inser man ganska fort att det inte är troligt ett HMD-system
kommer att ersätta det traditionella vad gäller vanligt kontorsarbete.
Man kan dock tänka sig att HMD-system ger en starkare upplevelse av närvaro, vilket skulle
kunna utnyttjas i offentliga platser där man vill informera människor, som t ex ett museum där
man kan överlagra information vid olika utställningsobjekt. Genom att användaren tittar på ett
visst objekt så dyker extra information eller animeringar upp som beskriver objektet på ett
mer levande sätt.
Huvudidéen som artikeln presenterar är dock att flera personer samarbetar i ett gemensamt
virtuellt gränssnitt i 3D. Detta benämns ofta kollaborativ förstärkt verklighet.
Kombinerat med införlivandet av verkliga, fysiska, objekt i systemet, (s k tangible interaction
methods, eller gripbara/konkreta interaktionsmetoder) så blir det hela mer spännande.
Tanken är att två eller flera personer skall kunna interagera på ett mer fysiskt naturligt sätt.
Där man med traditionella gränssnitt är begränsad till att skapa abstrakt förståelse av ett
problem via en 2-dimensionell skärm utan att fysiskt kunna utvärdera problemet kan man med
kollaborativ förstärkt verklighet hjälpa användarna att öka den gemensamma förståelsen av ett
problem genom att åberopa fysiska objekt. Användarna kan t ex gripa tag i ett objekt och lyfta
det med följden att det virtuella gränssnittet också förflyttar den virtuella representationen av
objektet ifråga.
den 28 oktober 2003 2

Artikeln tar upp stadsplanering som ett bra exempel på användningsområde för ett sådant här
system. Man tänker sig då ett antal personer runt ett bord seendes virtuella modeller av
byggnader vid bordet. De kan fysiskt förflytta små fysiska prototyper av byggnader som är
kopplade till den virtuella representationen av prototypen och placera dessa på en verklig
stadskarta för att få en överblick av hur resultatet kommer att se ut.
Ovanstående gäller för användare som är fysiskt närvarande till varandra. När det gäller
kommunikation mellan fjärranvändare så är ett uppenbart användningsområde
videokonferenser.
Man skapar avatarer (symbolobjekt som representerar ett verkligt objekt eller en människa, se
figur 2) som man kan interagera med. Begränsningarna är ännu relativt stora med dagens
teknik. Den viktigaste begränsningen är att man förlorar den mer eller mindre subtila
mänskliga kommunikationen jämfört med verklig kommunikation ansikte mot ansikte med
små rörelser, gester och ögonkontakt.
Inmatningsdonen är dock enkla att använda. Det räcker med ett headset. Artikeln nämner att
behovet av ett sådant kan försvinna då man lyckats bra med att utveckla återgivningen av
spatialt ljud och bild som kan kompensera (något i alla fall) för förlusten av närvarokänslan
från de andra personerna som uppstår om man inte sitter i en optimal position relativt
avatarernas position, s k telenärvaro.
Man skulle då förhoppningsvis inte behöva andra inmatningsdon än sin egen närvaro.
Figur 2. Två avatarer i form av 3D-projektioner av två personer vid en videokonferens
Artikeln tar upp nyckelattribut viktiga för ett AR-system och kommer till slut fram till att
sömlösheten nog är den viktigaste egenskapen.
Som nämnts ovan är framtida utmaningar att föröska lösa problemen med djupseendet och
begränsningen av synfältet för ögat när man använder HMD-system. Det är också fortfarande
problem med hur man ser färger i djupet.
den 28 oktober 2003 3

Artikeln ”Exploring interactive curve and surface manipulation using a bend
and twist sensitive input strip” - inmatningsdon, IDGG-kursen
Denna artikeln fokuserar på ett nytt alternativt inmatningsdon och inte på det grafiska
gränssnittet, och är alltså tänkt att användas med ett traditionellt gränssnitt.
Inmatningsdonet ifråga är en remsa vars användningsområde är att tillåta en användare att på
ett intuitivt sätt skapa och manipulera kurvor och ytor i 3-dimensionell datorgrafik utan kravet
på att kunna den matematiska definitionen för kurvor. Idéen är intressant genom att
användaren fysiskt kan böja och vrida på en remsa som representerar utseendet man önskar få
virtuellt på skärmen. Användaren kommer därmed undan mycket arbete att behöva definiera
geometrin matematiskt i datorn eftersom allt som behövs är att använda remsan.
Samtidigt som det kan kännas som en lättnad att slippa matematiska beräkningar så är
matematiken ett kraftfullt verktyg att använda om man behärskar den. Artikelns
upphovsmakare har därför skapat remsan för att utnyttja det bästa av två världar.
Det är endast en prototyp som skapats för att illustrera hur detta inmatningsdon kan användas
för att manipulera enkla geometriska former, men det kan förenkla sättet man kan interagera
med en dator istället för att använda en datormus. Dock behövs i denna prototypen andra
inmatningsdon för att få ut något nyttigt av det hela, nämligen en pedal och en mus som styrs
med foten. Om detta är en förenkling kan ju diskuteras, men det kan vara intuitivt då många
användare kan tänkas ha en bil vilket gör att användbarhetströskeln inte nödvändigtvis
behöver vara hög.
Anledningen som artikelförfattarna ajälva anger till dessa extra inmatningsdon är att
användaren kan ha händerna fria till att endast kontrollera remsan utan att behöva komplettera
inmatningen med tangentbord och datormus.
Själva remsans rörelser detekteras av två fiberoptiska rörelsesensorer som skickar data
(sampel) om positionen av remsan till datorn. För att göra beräkningarna enkla görs en
ett-till-ett mappning av remsans projektion i en s k rotationsmatris som följer en relativt enkel
matematik.
Fotmusen har en knapp som används till att byta till en av två kameror för att få en annan vy.
Rör man på fotmusen så vrids kameran i den riktning man önskar. En sensor fastsatt på
remsan kan användas för att utföra kommandoradsinstruktioner bland annat. Detta
komplicerar hela upplägget eftersom händerna nu blir något mindre fira att endast använda
remsan, så ytterligare två inmatningsdon finns för att kunna sköta dessa funktioner med
fötterna istället kan användas.
Sensorn på remsan har fyra knappar. Tre av dessa används för att överföra rörelserna i de tre
rumsdimensionerna och den fjärde för att frysa grafiken på skärmen när man är nöjd med den
form man skapat med remsan. Dessa funktioner kan som nämnts användas m h a pedalerna
också.
En smart detalj är att man använt en remsa som behåller sin deformation så att den inte går
tillbaka till sitt ursprungliga utseende. Det gör det hela lättare för användaren då denne kan
göra små ändringar utan att behöva göra om den önskade rörelsen från början igen.
Artikeln visar på ett antal enkla operationer som kan utföras med remsan:
den 28 oktober 2003 4

• ”loft”, där man skapar två eller flera referenskurvor som man sedan fyller ut till en yta
• rotation, som också använder referenskurvor men man roterar remsan istället för att
skapa annorlunda former på ytan
• extrude, eller ”utskjutning”,där man skapar en bana som man följer med remsan så att
det skapas (”skjuts ut”) ytor som ser ut som vågor ungefär
• deformering av existerande yta/ytor, genom att använda remsan kan man förändra
egenskaperna hos den existerande ytan enligt hur man vrider på remsan
Artikeln ”Robotics and interactive simulation” - haptiska inmatningsdon,
KogSem-kursen
Ett annat alternativt inmatningsdon som bygger på haptik i form av att användaren griper tag
mer handfast i inmatningsdonet när denne vill interagera med datorsystemet handlar denna
artikeln om.
Artikeln specialiserar sig på hur en människa via en datorskärm och det haptiska
inmatningsdonet kan simulera en robots rörelser och interaktion med sin omvärld.
Behovet av denna sorts interaktion växer i takt med att robotar blir mer intelligenta, kan utföra
mer komplexa uppgifter och deras frihetsgrader att röra sig utvecklas. Man vill då kunna
simulera vilka möjliga rörelser roboten kan utföra och vilka restriktioner som finns (d v s hur
roboten inte kan röra sig).
Figur 3 nedan visar hur en användare kan styra en virtuell robots röreslsemönster med hjälp
av ett haptiskt inmatningsdon.
Användaren får också en återkoppling från inmatningsdonet (jämför med ”forced feedback”
om man tycker om att spela bilspel med en ratt där skakningar och tröghet i rörelsen simulerar
en verklig ratt i en verklig bil). Skulle t ex roboten stöta till ett objekt så återkopplas detta till
användaren genom inmatningsdonet. Själva roboten är autonom i det att den försöker
kompensera rörelserna som användaren ger den så att den kan utföra sin uppgift.
Systemet med inmatningsdonet och den virutella världen kan också göras mer komplext
genom att två eller flera robotar och ett stort antla objekt kan existera i världen. Detta skapar
möjlighet för robotarna att interagera med varandra och inte endast med andra objekt.
För att lösa problemet med den ökade beräkningsbelastningen som uppstår med ett mer
komplext system har författarna av artikeln tagit fram en rekursiv algoritm som beräknar alla
nödvändiga data på linjär tid ( O(n) ).
Hur kan man då få en människolik robot att agera så naturtroget som möjligt ?
Detta har man löst genom att använda flera små ”tyngdpunkter” placerade på strategiska
platser på robotkroppen. Detta används också i filmindustrin nu för tiden för att simulera
skådespelares rörelser i en dator som sedan kan föras över digitalt till en viss scen i filmen.
Matrix-filmerna är ett exempel på detta, se [5] för mer information.
Man tilldelar också viktade energivärden till olika kroppsställningar för att ytterligare hjälpa
roboten att hitta det optimala rörelsemönstret för en viss uppgift.
den 28 oktober 2003 5

Figur 3. En användare som utnyttjar ett haptiskt inmatningsdon för att simulera en virtuell
robots rörelser. I det här fallet hur roboten lyfter en vikt och förflyttar den i luften.
Algoritmen som nämndes ovan fungerar bäst vid situationer som är förutsägbara, men om det
skulle ske en oförutsägbar rörelse måste man kompensera för detta på något sätt.
Ett s k ”elastic strip framework” togs då fram. Detta system utnyttjar energin och
kroppställningen hos roboten genom att den förutbestämda riktning som roboten följer bryts
ner i mycket små delar så att varje stegförflyttning som roboten utför beräknas i realtid. Ju
mindre stegförflyttning som roboten gör desto större chans har den att ändra sitt
rörelsemönster (riktningen den följer) och därmed kunna undvika ett snabbt uppdykande
hinder eller en annan robots rörelse till exempel.
Referenser
[1] Mark Billinghurst and Hirokazu Kato: ”Collaborative augmented reality”
Kompendiet “Kognitionsteknologiska seminarier VT2003, Datavetenskap
Chalmers”
[2] Wearable Platforms for Augmented and Virtual Reality, Studentprojekt på
Datavetenskap Chalmers 2002/2003
http://www.mdstud.chalmers.se/~dp02-2/
den 28 oktober 2003 6

[3] Ravin Balakrishnan, George Fitzmaurice, Gordon Kurtenbach, Karan Singh:
“Exploring interactive curve and surface manipulation using a bend and twist
sensitive input strip”, Proceedings of the 1999 symposium on Interactive 3D
graphics
http://www.dgp.toronto.edu/~ravin/papers/i3dg99_shapetape.pdf
[4] Oussama Khatib, Oliver Brock, Kyong-Sok Chang, Francois Conti, Diego
Ruspini and Luis Sentis: ”Robotics and interactive simulation”
http://citeseer.nj.nec.com/cache/papers/cs/25291/http:zSzzSzrobotics.stanford.ed
uzSz~olizSzPAPERSzSzcacm-02.pdf/robotics-and-interactive-simulation.pdf
[5] Alvy Ray Smith: “The reality of simulated actors”
Kompendiet “Kognitionsteknologiska seminarier VT2003, Datavetenskap
Chalmers”
den 28 oktober 2003 7