Uppsats - Chalmers tekniska högskola
Uppsats - Chalmers tekniska högskola
Uppsats - Chalmers tekniska högskola
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
den 28 oktober 2003<br />
<strong>Uppsats</strong><br />
MDI / Interaktionsdesign – Grafiska Gränssnitt (TDA 490)<br />
Robert Larsson<br />
730409-4977<br />
d00larro@dtek.chalmers.se<br />
<strong>Chalmers</strong> Tekniska Högskola – Datavetenskap<br />
Data- och informationsteknik<br />
HT 2003
Inledning<br />
Denna uppsats har fördjupning i en aspekt av kursen som syfte. Valet av uppsatsämne är<br />
sammanställning av två eller flera relevanta artiklar från ett annat ämne.<br />
Två ämnen tas upp: alternativa gränssnitt och inmatningsdon.<br />
De artiklar som uppsatsen behandlar är dels tagna från kurskompendiet till kursen<br />
Kognitionsteknologiska seminarier (TDA 270) som ges på institutionen Datavetenskap vid<br />
<strong>Chalmers</strong>, dels en artikel som ingår i litteraturen till den aktuella kursen, Interaktionsdesign –<br />
Grafiska Gränssnitt (TDA 490).<br />
Hänsyn är tagen till artiklarnas relevans till innehållet i kursen. Specifikt har valet av<br />
respektive artikel som presenteras nedan försökt lyfta fram nya, alternativa, grafiska<br />
gränssnitt än det traditionella sättet med tvådimensionell presentation av information på en<br />
15-17 tums monitor, och på nya möjliga inmatningsdon som stödjer alternativa<br />
interaktionssätt. Mer naturliga kommunikationssätt än de traditionella är en utveckling som är<br />
ständigt pågående och förhoppningen är att läsaren skall se dessa alternativ som en möjlig<br />
utveckling av de traditionella interaktionsmetoderna.<br />
Artikeln ”Collaborative augmented reality” - (kollaborativ förstärkt<br />
verklighet) alternativa gränssnitt-augmented reality, KogSem-kursen<br />
Skapa virtuella 2D- eller 3D-gränssnitt som ligger över verkliga objekt med hjälp av s k headmounted<br />
displays (HMD) eller handburna dito, med det långsiktiga målet att dessa gränssnitt<br />
sömlöst smälter samman med den fysiska världen och ge intrycket att det virtuella gränssnittet<br />
är oskiljaktigt från den fysiska världen.<br />
Artikeln nämner att sådana system avsedda för en ensam användare existerar och<br />
utvecklingen visar på att dessa system blir bättre och bättre på att uppfylla målet med<br />
sömlöshet.<br />
Egen erfarenhet av att testa ett liknande system för en användare som använder sig av en<br />
kombination av handburet inmatningsdon i form av en modifierad datormus som bärs i<br />
handen tillsammans med ett HMD-system visade en känsla av att vara närvarande i den<br />
virtuella motsvarigheten av kårhuset på <strong>Chalmers</strong> som programmerats in i systemet, se<br />
Figur 1 nedan och [1]. Ett påtagligt problem var att hastigheten hos processorn (400 MHz) för<br />
det aktuella HMD-systemet var för låg vilket gjorde att det kändes som att den virtuella<br />
överlagringen var tidsförskjuten (”laggade” uttryckt i datorslang). Troligtvis hade en snabbare<br />
processor avhjälpt detta problem.<br />
Ett annat irriterande problem var hur man skall fokusera blicken. Djupseendet blir förskjutet.<br />
Det uppstår två djup, ett från den fysiska världen och ett från den virtuella överlagrade<br />
världen, vilket gör det tröttsamt för ögonen att använda systemet en längre tid.<br />
Artiklen tar också upp detta som en framtida forskningsutmaning som måste lösas på ett<br />
smidigare sätt.<br />
den 28 oktober 2003 1
Figur 1. Författaren av denna uppsatsen genomförandes ett test av ett HMD-system i<br />
<strong>Chalmers</strong> kårhus. Testet utfördes för en studentprojektgrupp på <strong>Chalmers</strong> Datatekniksektion.<br />
Vilka användningsområden kan man tänka sig att ett HMD-system för en användare har ?<br />
Om vi gör en jämförelse med användningsområdet för ett traditionellt stationärt datorsystem<br />
med en skärm som gränssnitt inser man ganska fort att det inte är troligt ett HMD-system<br />
kommer att ersätta det traditionella vad gäller vanligt kontorsarbete.<br />
Man kan dock tänka sig att HMD-system ger en starkare upplevelse av närvaro, vilket skulle<br />
kunna utnyttjas i offentliga platser där man vill informera människor, som t ex ett museum där<br />
man kan överlagra information vid olika utställningsobjekt. Genom att användaren tittar på ett<br />
visst objekt så dyker extra information eller animeringar upp som beskriver objektet på ett<br />
mer levande sätt.<br />
Huvudidéen som artikeln presenterar är dock att flera personer samarbetar i ett gemensamt<br />
virtuellt gränssnitt i 3D. Detta benämns ofta kollaborativ förstärkt verklighet.<br />
Kombinerat med införlivandet av verkliga, fysiska, objekt i systemet, (s k tangible interaction<br />
methods, eller gripbara/konkreta interaktionsmetoder) så blir det hela mer spännande.<br />
Tanken är att två eller flera personer skall kunna interagera på ett mer fysiskt naturligt sätt.<br />
Där man med traditionella gränssnitt är begränsad till att skapa abstrakt förståelse av ett<br />
problem via en 2-dimensionell skärm utan att fysiskt kunna utvärdera problemet kan man med<br />
kollaborativ förstärkt verklighet hjälpa användarna att öka den gemensamma förståelsen av ett<br />
problem genom att åberopa fysiska objekt. Användarna kan t ex gripa tag i ett objekt och lyfta<br />
det med följden att det virtuella gränssnittet också förflyttar den virtuella representationen av<br />
objektet ifråga.<br />
den 28 oktober 2003 2
Artikeln tar upp stadsplanering som ett bra exempel på användningsområde för ett sådant här<br />
system. Man tänker sig då ett antal personer runt ett bord seendes virtuella modeller av<br />
byggnader vid bordet. De kan fysiskt förflytta små fysiska prototyper av byggnader som är<br />
kopplade till den virtuella representationen av prototypen och placera dessa på en verklig<br />
stadskarta för att få en överblick av hur resultatet kommer att se ut.<br />
Ovanstående gäller för användare som är fysiskt närvarande till varandra. När det gäller<br />
kommunikation mellan fjärranvändare så är ett uppenbart användningsområde<br />
videokonferenser.<br />
Man skapar avatarer (symbolobjekt som representerar ett verkligt objekt eller en människa, se<br />
figur 2) som man kan interagera med. Begränsningarna är ännu relativt stora med dagens<br />
teknik. Den viktigaste begränsningen är att man förlorar den mer eller mindre subtila<br />
mänskliga kommunikationen jämfört med verklig kommunikation ansikte mot ansikte med<br />
små rörelser, gester och ögonkontakt.<br />
Inmatningsdonen är dock enkla att använda. Det räcker med ett headset. Artikeln nämner att<br />
behovet av ett sådant kan försvinna då man lyckats bra med att utveckla återgivningen av<br />
spatialt ljud och bild som kan kompensera (något i alla fall) för förlusten av närvarokänslan<br />
från de andra personerna som uppstår om man inte sitter i en optimal position relativt<br />
avatarernas position, s k telenärvaro.<br />
Man skulle då förhoppningsvis inte behöva andra inmatningsdon än sin egen närvaro.<br />
Figur 2. Två avatarer i form av 3D-projektioner av två personer vid en videokonferens<br />
Artikeln tar upp nyckelattribut viktiga för ett AR-system och kommer till slut fram till att<br />
sömlösheten nog är den viktigaste egenskapen.<br />
Som nämnts ovan är framtida utmaningar att föröska lösa problemen med djupseendet och<br />
begränsningen av synfältet för ögat när man använder HMD-system. Det är också fortfarande<br />
problem med hur man ser färger i djupet.<br />
den 28 oktober 2003 3
Artikeln ”Exploring interactive curve and surface manipulation using a bend<br />
and twist sensitive input strip” - inmatningsdon, IDGG-kursen<br />
Denna artikeln fokuserar på ett nytt alternativt inmatningsdon och inte på det grafiska<br />
gränssnittet, och är alltså tänkt att användas med ett traditionellt gränssnitt.<br />
Inmatningsdonet ifråga är en remsa vars användningsområde är att tillåta en användare att på<br />
ett intuitivt sätt skapa och manipulera kurvor och ytor i 3-dimensionell datorgrafik utan kravet<br />
på att kunna den matematiska definitionen för kurvor. Idéen är intressant genom att<br />
användaren fysiskt kan böja och vrida på en remsa som representerar utseendet man önskar få<br />
virtuellt på skärmen. Användaren kommer därmed undan mycket arbete att behöva definiera<br />
geometrin matematiskt i datorn eftersom allt som behövs är att använda remsan.<br />
Samtidigt som det kan kännas som en lättnad att slippa matematiska beräkningar så är<br />
matematiken ett kraftfullt verktyg att använda om man behärskar den. Artikelns<br />
upphovsmakare har därför skapat remsan för att utnyttja det bästa av två världar.<br />
Det är endast en prototyp som skapats för att illustrera hur detta inmatningsdon kan användas<br />
för att manipulera enkla geometriska former, men det kan förenkla sättet man kan interagera<br />
med en dator istället för att använda en datormus. Dock behövs i denna prototypen andra<br />
inmatningsdon för att få ut något nyttigt av det hela, nämligen en pedal och en mus som styrs<br />
med foten. Om detta är en förenkling kan ju diskuteras, men det kan vara intuitivt då många<br />
användare kan tänkas ha en bil vilket gör att användbarhetströskeln inte nödvändigtvis<br />
behöver vara hög.<br />
Anledningen som artikelförfattarna ajälva anger till dessa extra inmatningsdon är att<br />
användaren kan ha händerna fria till att endast kontrollera remsan utan att behöva komplettera<br />
inmatningen med tangentbord och datormus.<br />
Själva remsans rörelser detekteras av två fiberoptiska rörelsesensorer som skickar data<br />
(sampel) om positionen av remsan till datorn. För att göra beräkningarna enkla görs en<br />
ett-till-ett mappning av remsans projektion i en s k rotationsmatris som följer en relativt enkel<br />
matematik.<br />
Fotmusen har en knapp som används till att byta till en av två kameror för att få en annan vy.<br />
Rör man på fotmusen så vrids kameran i den riktning man önskar. En sensor fastsatt på<br />
remsan kan användas för att utföra kommandoradsinstruktioner bland annat. Detta<br />
komplicerar hela upplägget eftersom händerna nu blir något mindre fira att endast använda<br />
remsan, så ytterligare två inmatningsdon finns för att kunna sköta dessa funktioner med<br />
fötterna istället kan användas.<br />
Sensorn på remsan har fyra knappar. Tre av dessa används för att överföra rörelserna i de tre<br />
rumsdimensionerna och den fjärde för att frysa grafiken på skärmen när man är nöjd med den<br />
form man skapat med remsan. Dessa funktioner kan som nämnts användas m h a pedalerna<br />
också.<br />
En smart detalj är att man använt en remsa som behåller sin deformation så att den inte går<br />
tillbaka till sitt ursprungliga utseende. Det gör det hela lättare för användaren då denne kan<br />
göra små ändringar utan att behöva göra om den önskade rörelsen från början igen.<br />
Artikeln visar på ett antal enkla operationer som kan utföras med remsan:<br />
den 28 oktober 2003 4
• ”loft”, där man skapar två eller flera referenskurvor som man sedan fyller ut till en yta<br />
• rotation, som också använder referenskurvor men man roterar remsan istället för att<br />
skapa annorlunda former på ytan<br />
• extrude, eller ”utskjutning”,där man skapar en bana som man följer med remsan så att<br />
det skapas (”skjuts ut”) ytor som ser ut som vågor ungefär<br />
• deformering av existerande yta/ytor, genom att använda remsan kan man förändra<br />
egenskaperna hos den existerande ytan enligt hur man vrider på remsan<br />
Artikeln ”Robotics and interactive simulation” - haptiska inmatningsdon,<br />
KogSem-kursen<br />
Ett annat alternativt inmatningsdon som bygger på haptik i form av att användaren griper tag<br />
mer handfast i inmatningsdonet när denne vill interagera med datorsystemet handlar denna<br />
artikeln om.<br />
Artikeln specialiserar sig på hur en människa via en datorskärm och det haptiska<br />
inmatningsdonet kan simulera en robots rörelser och interaktion med sin omvärld.<br />
Behovet av denna sorts interaktion växer i takt med att robotar blir mer intelligenta, kan utföra<br />
mer komplexa uppgifter och deras frihetsgrader att röra sig utvecklas. Man vill då kunna<br />
simulera vilka möjliga rörelser roboten kan utföra och vilka restriktioner som finns (d v s hur<br />
roboten inte kan röra sig).<br />
Figur 3 nedan visar hur en användare kan styra en virtuell robots röreslsemönster med hjälp<br />
av ett haptiskt inmatningsdon.<br />
Användaren får också en återkoppling från inmatningsdonet (jämför med ”forced feedback”<br />
om man tycker om att spela bilspel med en ratt där skakningar och tröghet i rörelsen simulerar<br />
en verklig ratt i en verklig bil). Skulle t ex roboten stöta till ett objekt så återkopplas detta till<br />
användaren genom inmatningsdonet. Själva roboten är autonom i det att den försöker<br />
kompensera rörelserna som användaren ger den så att den kan utföra sin uppgift.<br />
Systemet med inmatningsdonet och den virutella världen kan också göras mer komplext<br />
genom att två eller flera robotar och ett stort antla objekt kan existera i världen. Detta skapar<br />
möjlighet för robotarna att interagera med varandra och inte endast med andra objekt.<br />
För att lösa problemet med den ökade beräkningsbelastningen som uppstår med ett mer<br />
komplext system har författarna av artikeln tagit fram en rekursiv algoritm som beräknar alla<br />
nödvändiga data på linjär tid ( O(n) ).<br />
Hur kan man då få en människolik robot att agera så naturtroget som möjligt ?<br />
Detta har man löst genom att använda flera små ”tyngdpunkter” placerade på strategiska<br />
platser på robotkroppen. Detta används också i filmindustrin nu för tiden för att simulera<br />
skådespelares rörelser i en dator som sedan kan föras över digitalt till en viss scen i filmen.<br />
Matrix-filmerna är ett exempel på detta, se [5] för mer information.<br />
Man tilldelar också viktade energivärden till olika kroppsställningar för att ytterligare hjälpa<br />
roboten att hitta det optimala rörelsemönstret för en viss uppgift.<br />
den 28 oktober 2003 5
Figur 3. En användare som utnyttjar ett haptiskt inmatningsdon för att simulera en virtuell<br />
robots rörelser. I det här fallet hur roboten lyfter en vikt och förflyttar den i luften.<br />
Algoritmen som nämndes ovan fungerar bäst vid situationer som är förutsägbara, men om det<br />
skulle ske en oförutsägbar rörelse måste man kompensera för detta på något sätt.<br />
Ett s k ”elastic strip framework” togs då fram. Detta system utnyttjar energin och<br />
kroppställningen hos roboten genom att den förutbestämda riktning som roboten följer bryts<br />
ner i mycket små delar så att varje stegförflyttning som roboten utför beräknas i realtid. Ju<br />
mindre stegförflyttning som roboten gör desto större chans har den att ändra sitt<br />
rörelsemönster (riktningen den följer) och därmed kunna undvika ett snabbt uppdykande<br />
hinder eller en annan robots rörelse till exempel.<br />
Referenser<br />
[1] Mark Billinghurst and Hirokazu Kato: ”Collaborative augmented reality”<br />
Kompendiet “Kognitionsteknologiska seminarier VT2003, Datavetenskap<br />
<strong>Chalmers</strong>”<br />
[2] Wearable Platforms for Augmented and Virtual Reality, Studentprojekt på<br />
Datavetenskap <strong>Chalmers</strong> 2002/2003<br />
http://www.mdstud.chalmers.se/~dp02-2/<br />
den 28 oktober 2003 6
[3] Ravin Balakrishnan, George Fitzmaurice, Gordon Kurtenbach, Karan Singh:<br />
“Exploring interactive curve and surface manipulation using a bend and twist<br />
sensitive input strip”, Proceedings of the 1999 symposium on Interactive 3D<br />
graphics<br />
http://www.dgp.toronto.edu/~ravin/papers/i3dg99_shapetape.pdf<br />
[4] Oussama Khatib, Oliver Brock, Kyong-Sok Chang, Francois Conti, Diego<br />
Ruspini and Luis Sentis: ”Robotics and interactive simulation”<br />
http://citeseer.nj.nec.com/cache/papers/cs/25291/http:zSzzSzrobotics.stanford.ed<br />
uzSz~olizSzPAPERSzSzcacm-02.pdf/robotics-and-interactive-simulation.pdf<br />
[5] Alvy Ray Smith: “The reality of simulated actors”<br />
Kompendiet “Kognitionsteknologiska seminarier VT2003, Datavetenskap<br />
<strong>Chalmers</strong>”<br />
den 28 oktober 2003 7