Kaip po dešimties metų atrodys kompiuterių vartotojų sąsajos?
Žinodami, kokia dabar yra kompiuterių aparatinė įranga, nesunkiai galime numatyti, kad artimoje ateityje ims sparčiai tobulėti įvairių dydžių didelės skiriamosios gebos displėjai. Juos vartotojai galės laikyti rankoje ar segėti ant riešo. Didelius ekranus bus galima įmontuoti į rašomąjį stalą, sieną, grindis. Neabejojama, kad tokie displėjai taps kasdienybe. Be to, daugelio kompiuterijos specialistų nuomone, naujo tipo vartotojų sąsajos, kurios jau dabar vadinamos papildytosios realybės (augmented reality – toliau AR) sistemomis, vartotojams atvers nepalyginti didesnes galimybes.
Papildytoji realybė sukuriama kompiuterio displėjumi, kuris, veikdamas vartotojo jusles, jam suteikia papildomos informacijos. Dauguma AR tiriamųjų darbų buvo skirti matymo prietaisui kurti. Jis paprastai maunamas ant galvos ir į vartotojo regos lauką įterpia vaizdą ar tekstą. Galima ir kitų pojūčių virtualioji informacija, tarkim garso ar lytėjimo, bet šiame straipsnyje aptarsime tik regimąją. Papildytosios regimosios realybės sistemos, reaguodamos į pakitusią vartotojo galvos padėtį, koreguoja ir virtualiojo vaizdo orientaciją vartotojo regos lauke. Kai yra toks grįžtamasis ryšys, sistemos programinė įranga gali pvz., trimatį menamą puoduką padėti ant tikros lėkštutės ir šią, jo tikrovišką padėtį, išlaikyti vartotojui vaikščiojant po kambarį. AR sistemose pritaikytos kai kurios virtualiosios realybės technologijos, tačiau tarp virtualiosios ir papildytosios realybės yra vienas esminis skirtumas: virtualioji realybė visiškai pakeičia realųjį pasaulį, o papildytoji jį pagerina.
Štai keletas AR taikymo galimybių. Technikas, apžiūrintis sugedusią įrangos dalį, matys tekstą, jam patariantį, ką jis šiuo metu turėtų daryti. Chirurgas, ultragarsu tirdamas ligonio vidaus organus, matys tokį jų vaizdą, tarsi šviestų rentgeno spinduliais. Ugniagesys, gesindamas gaisrą, matys pastato planą, jam padėsiantį išvengti pavojų, kurie kitu atveju būtų sunkiai nuspėjami. Kareivis matys pasislėpusius priešo snaiperius, kurie būtų aptinkami žvalgybiniu lėktuvu. Turistas, eidamas gatve, žinos, kur yra visi kvartalo restoranai. Kompiuterinių žaidimų mėgėjas, eidamas į darbą, galės sėkmingai kautis su trimetriniais ateiviais.
Kad visos šios ir daugybė kitų užduočių būtų sėkmingai atliktos, svarbiausia laiku gauti reikiamą informaciją. Ją gali teikti delniniai ar kišeniniai asmeniniai kompiuteriai, kuriems radijo imtuvas, susietas su bevielio ryšio tinklu ar visuotine padėties nustatymo sistema (Global Positioning System – GPS), nuolat perduoda duomenis apie pasikeitusią vartotojo galvos padėtį. Papildytąją realybę iš kitų informacijos teikimo būdų išskiria viena ypatybė – ji matoma ne atskirame displėjuje, bet integruota į kitus realiuosius žmogaus pojūčius. Ši savita vartotojo sąsaja jam gerokai palengvina užduotis, kurias jis įprastai spręstų blaškydamasis tarp kompiuterio ekrano ir aplinkinio pasaulio. Papildytoje realybėje vartotojo sąsaja ir realusis pasaulis susilieja į visumą.
Papildytoji realybė kai kuriems skaitytojams gali atrodyti mokslinė fantastika, tačiau mokslininkai panašias sistemas kuria jau daugiau kaip tris dešimtmečius. Pirmoji dar septintame dešimtmetyje buvo parengta kompiuterinės grafikos pradininko Ivano Sutherlando ir jo studentų iš Jutos valstijos Harvardo universiteto. Aštuntą ir devintą dešimtmetį nedidelės tyrėjų grupelės papildytąją realybę tyrinėjo JAV oro pajėgų Armstrongo laboratorijoje, NASA tyrimo centre ir Šiaurės Karolinos Chapel Hillo universitete. Patį pavadinimą “papildytoji realybė” dešimto dešimtmečio pradžioje pasiūlė Boeing koncerno mokslininkai, sukūrę eksperimentinę AR sistemą, kuri darbininkams padėjo montuoti elektros tiekimo linijas. Pastarasis dešimtmetis AR tyrinėtojams buvo labai sėkmingas – sumažėjus aparatinės įrangos kainoms, tapo įperkama laboratorinė AR įranga. O 1998 m. mokslininkai jau susirinko į pirmąją konferenciją, skirtą papildytosios realybės klausimams nagrinėti.
Nors nuo pirmųjų Sutherlando kertinių darbų iki šių dienų nepaprastai ištobulėjo informacinės technologijos, pagrindiniai komponentai, reikalingi AR sistemai kurti, išliko tie patys: displėjus, sekimo įrenginys, kompiuteris ir programinė įranga. Per pastaruosius kelerius metus ženkliai pagerėjo šių komponentų eksploatacijos savybės, todėl jau įmanoma kurti eksperimentines sistemas, kurios netrukus turėtų išsirutuliuoti į komercinius gaminius.
Matai, vadinasi, tiki
Papildytosios realybės esmę sudaro vaizdai, kurie regimi matymo prietaisu ir pateikiami kaip realiosios ir virtualiosios informacijų visuma. (Papildytosios realybės matymo prietaisas autorių vadinamas the see through display. Jis yra displėjaus analogas, o programų rinkinys, vartotojui padedantis sąveikauti su papildytąja realybe, sukuria vartotojo sąsają.) Matymo prietaisus galima konstruoti mažus, todėl juos patogiausia nešioti kaip akinius. Prie pat akies esantis nedidelis skystųjų kristalų displėjus gali sukurti virtualiai didelius vaizdus.
Matymo prietaisai yra dviejų rūšių: optiniai ir vaizdo. Paprasčiausiame optinės sistemos prietaise įmontuotas šviesos pluošto dalytuvas – pusiau skaidrus sidabru dengtas veidrodis, kuris dalį šviesos atspindi, dalį praleidžia. Prieš vartotojo akis esantis tinkamai orientuotas šviesos srauto dalytuvas atspindi displėjuje sukurtą vaizdą, kad šis patektų į vartotojo regos lauką. Bet vartotojas mato ir aplinką, nes jos šviesa prasiskverbia pro veidrodį. Tokie šviesos srauto dalytuvai jau seniai naudojami naikintuvų pilotų, o pastaruoju metu ir prabangių automobilių vairuotojų displėjuose. Kad displėjaus vaizdas žmogaus akiai būtų matomas patogiu atstumu, tarp pluošto dalytuvo ir kompiuterio displėjaus įmontuojami lęšiai. Jei displėjus ir optikos įtaisai montuojami prieš abi akis, regimas stereoskopinis vaizdas.
Vaizdo sistemos matymo prietaisams, kitaip nei optiniams, kurti taikoma technologija, kuri pradžioje buvo skirta specialiesiems televizijos efektams kurti: vaizdai, nufilmuoti ant galvos nešiojama vaizdo kamera, būdavo sujungiami su kompiuterinės grafikos vaizdais (2 pav.). Bendras vaizdas rodomas prieš akis įmontuotame nepermatomame displėjuje. Tiksliai suderintos kameros optinis kelias būna lygus vartotojo akies optiniam keliui, todėl vaizdo sistemos kuriami reginiai atrodo beveik realūs. Kaip ir optiniuose matymo prietaisuose, tokia sistema gali būti skirta abiem akims; tuomet regimas stereoskopinis vaizdas.
Panagrinėkime vieną realiųjų ir virtualiųjų vaizdų jungimo metodą, kuris taikomas vaizdo sistemos matymo prietaisams kurti. Tarkim, kad kompiuterio displėjuje grafinis vaizdas sukurtas kurios nors spalvos fone. Skaitmeninės kameros vaizdas elementas po elemento perkeliamas į tą displėjaus vietą, kurioje yra spalvotas fonas. Grafinio vaizdo elementai nėra keičiami. Taip palaipsniui displėjuje formuojamas grafinis vaizdas, kuris užkloja realųjį. Šiuo metodu galima kurti ir pusiau permatomus grafinius vaizdus. Jei AR sistema sugeba įvertinti atstumą iki realiųjų objektų, tuomet kompiuterinės grafikos algoritmas gali kelti iliuziją, kad realūs objektai užkloja virtualiuosius, kurie ir atrodys labiau nutolę. (Šia galimybe pasižymi ir optiniai matymo prietaisai.)
Kiekviena iš šių matymo prietaisų konstrukcijų turi savų privalumų ir trūkumų. Optinė sistema vartotojui realųjį pasaulį leidžia matyti tokį, koks jis yra. Tačiau šiuolaikinių optinių sistemų gaunami grafiniai vaizdai, kuriais užklojamas realusis pasaulis, nėra visiškai nepermatomi. Dėl to tekstas kai kurių spalvų fone gali būti sunkiai įskaitomas, o erdvinis grafinis vaizdas nekelia įtikimos realybės iliuzijos. Be to, akies lęšiukas realiųjų objektų vaizdą fokusuoja priklausomai nuo atstumo iki jų, o visi virtualieji objektai fokusuojami į vieną plokštumą. Taigi, nors virtualieji objektai, kurie matomi geometriškai teisingomis projekcijomis ir kelia iliuziją, kad nutolę tiek pat kiek ir realieji, vartotojas vienu metu negali matyti abiejų objektų sufokusuotų vaizdų.
Vaizdo sistemų virtualieji objektai gali visiškai užkloti realiuosius. Be to, šios sistemos turi nepalyginti daugiau abiejų vaizdų grafinio jungimo galimybių. Abu vaizdus žmogaus akis fokusuoja vienodai, nes jie matomi vienoje plokštumoje. Tačiau kuriant realųjį pasaulį kameromis, prarandama vaizdo kokybė. Deja, kol kas šiuolaikinės vaizdo kameros ir displėjai kokybe neprilygsta žmogaus akiai.
Pirmieji AR matymo prietaisai, sukonstruoti Sutherlando ir jo studentų, buvo griozdiški įrenginiai, su elektroniniu vamzdžiu ir masyviais optiniais įtaisais. Šiais laikais tyrėjai, naudodami mažus skystųjų kristalų displėjus ir naujausius optinius įtaisus, sukuria AR sistemas, sveriančias šimtą – du šimtus gramų. Laukiama ir kitų patobulinimų, pvz., Microvision kompanija neseniai sukūrė prietaisą, kurio mažos galios lazeriai vaizdus skenuoja tiesiai į žmogaus akies tinklainę. Kai kurie ant galvos nešiojamų matymo prietaisų prototipai mažai kuo skiriasi nuo įprastų akinių.
Svarbiausia – nepaleisti vartotojo iš akių
Papildytoji realybė nekeltų realybės įspūdžio, jei grafinių vaizdų padėtis nebūtų suderinta su kintančiu vartotojo regos lauku. Kad būtų pasiekta tokio sinchroniškumo, AR sistema turi tiksliai sekti vartotojo galvos judesius ir pagal šią informaciją keisti vaizdą displėjuje. Kai kurios AR sistemos veikia tuomet, kai sekami tam tikri judantys objektai. Pavyzdžiui, kad veiktų reaktyvinio lėktuvo variklio remonto AR sistema, reikia sekti variklio dalių padėtį ir jų orientaciją variklio išmontavimo metu. Sekimo įrenginiai paprastai kontroliuoja šešis kiekvieno objekto parametrus – tris erdvines koordinates x, y, z ir tris jo orientacijos kampus, todėl jie paprastai vadinami šešių laisvės laipsnių sekimo įrenginiais.
Kurdamas savo pirmąsias AR sistemas Sutherlandas eksperimentavo su mechaniniu galvos sekimo įrenginiu, kuris buvo prikabintas prie lubų. Jis buvo išbandęs ir ultragarsinius sekimo įrenginius, kurie vartotojo galvos padėtį nustatydavo pagal ultragarso bangos atspindį. Nuo to laiko mokslininkai sukūrė ir išbandė įvairias – elektromagnetinę, optinę ir vaizdo – sekimo sistemas. Sekimo įrenginiai paprastai sudaryti iš dviejų dalių – viena montuojama prie sekamo asmens ar objekto, o kita tvirtinama šalia, pvz., tame pačiame kambaryje. Optinėse sekimo sistemose prie sekamo asmens ar objekto tvirtinami šviesos diodai ar reflektoriai, o prie lubų gali būti prikabintas optinių daviklių rinkinys. Ir atvirkščiai, prie sekamų objektų gali būti tvirtinami jutikliai, o šviesos šaltiniai – prie lubų. Įvertinus atstumą iki kiekvieno šviesos šaltinio, jutikliais galima nustatyti, kaip pakito vartotojo galvos padėtis.
Kasdieniame gyvenime žmonės, be regėjimo, erdvėje orientuojasi dar pagal žemės traukos jėgą bei vidinės ausies gaunamą informaciją. Analogiškai ir hibridiniuose sekimo įrenginiuose esama kelių tipų informacijos šaltinių. Pavyzdžiui, sekamo asmens galvos padėties kitimai dar gali būti nustatomi pagal hiroskopų ir pagreičio matuoklių rodmenis. Jei šie duomenys apdorojami kartu su optinių ar ultragarsinių įrenginių teikiama informacija, objektą galima sekti dideliu tikslumu.
Kaip AR sistemos veikia lauko sąlygomis? Kaip galima sekti asmenį, kuris išeina iš jutiklių prismaigstyto kambario? Kolumbijos universiteto mokslininkai, vadovaujami prof. Steveno K. Feinerio, sukūrė lauko sąlygomis veikiančią papildytosios realybės sistemą, kuri objekto slenkamuosius judesius ir jo pakitusią orientaciją nustato skirtingais būdais. Galvos pakreipimas nustatomas hibridiniu sekimo įrenginiu, kuriame hiroskopas ir pagreičio matuoklis įmontuoti kartu su magnetometru, matuojančiu žemės magnetinį lauką. Slenkamajam judesiui nustatyti grupė naudoja didelio tikslumo GPS imtuvą.
GPS radijo imtuvas savo padėtį nustato orientuodamasis pagal navigacinių dirbtinių žemės palydovų siunčiamus radijo signalus. Dabartiniai kišeniniai imtuvai padėtį nustato gana nedideliu – metrų – tikslumu. Geresnių rezultatų gaunama, kai taikoma vadinamoji diferencinė GPS metodika. Šiuo atveju mobilusis GPS radijo imtuvas, be palydovo siunčiamų signalų, fiksuoja ir kito GPS imtuvo bei žemėje esančio radijo siųstuvo signalus. Pagal šių signalų analizės rezultatus palydovo siunčiama informacija koreguojama ir vartotojo padėtis nustatoma jau didesniu kaip metro tikslumu. Kolumbijos universiteto grupė pasiekė vieno centimetro tikslumą, taikydama sudėtingesnį diferencinės GPS metodikos variantą, kai palyginamos stacionaraus ir mobiliojo imtuvų bangų fazės.
Deja, GPS toli gražu nėra ideali padėties nustatymo priemonė. Palydovų skleidžiami signalai yra palyginti silpni. Jiems gali lengvai pastoti kelią pastatai ar net medžių lapija. O į Manhateną panašiose vietose šia palydovine sistema išvis neįmanoma naudotis. GPS sekimo sistema veiksminga palyginti lygiose vietovėse, kur pastatyti neaukšti namai. Apskritai, GPS yra netobula ir todėl, kad koreguodama grafinių vaizdų padėtį gretimų objektų atžvilgiu per sekundę atlieka per mažai patikslinimų.
Papildytosios realybės sistemų sekimo technologijos turi būti itin tikslios, didelės skiriamosios gebos bei spartos ir stabilios. Šiuo metu egzistuojančios aparatinė ir programinė įrangos dar nėra tokios tobulos, kad kiekvieną objekto judesį akimirksniu atitiktų pasikeitęs displėjaus vaizdas. Jei vartotojas juda ar pakreipia galvą, virtualieji objektai nespėja atitinkamai pakeisti savo padėties. Norint sumažinti šių vėlinimų trukmę, AR sistemą galima papildyti programa, kuri, įvertinusi ankstesnius vartotojo judesius, numatytų jo elgseną ateityje.
Aplinkos valdymas
Per pastaruosius kelerius metus gerokai patobulėjo kompiuterinės grafikos aparatinė ir programinė įrangos. Dešimto dešimtmečio pradžioje rinkoje dar nebuvo pasirodžiusių specializuotų 3D grafikų nešiojamųjų kompiuterių. O 2001 m. pirmieji nešiojamieji kompiuteriai su gana galingais specializuotais procesoriais jau pasirodė rinkoje. S. Feinerio eksperimentinėse mobiliose sistemose toks kompiuteris tvirtinamas prie operatoriaus kuprinės. Kompiuterio displėjus yra gana didelis ir laikomas atidarytas, kad kiekvienas galėtų pasižiūrėti, kaip kinta grafiniai vaizdai.
Kad virtualieji objektai atrodytų tikroviškai vartotojui judant, AR programinė įranga turi nenutrūkstamai ir dideliu dažniu keisti realųjį pasaulį užklojančius vaizdus. Aprašydamas daugelio vartotojų ir virtualiųjų objektų koordinavimo procesą, S. Feineris pavartojo “aplinkos valdymo” terminą. Kartu su kolegomis jis sukūrė programinės įrangos struktūrą, skirtą būtent tokiems sudėtingiems uždaviniams spręsti. Tokios AR sistemos veikimą S. Feineris demonstruoja savo laboratorijos svečiams. Lankytojas, apžiūrintis laboratorijos įrangą, prieš akis mato ir atitinkamus komentarus. Komentarų forma (užrašas, vaizdas ar animacinis filmukas) yra nustatoma. Jei pasirenkamas užrašas, nustatomas jo matymo kampas bei raidžių dydis. Laboratorijos lankytojų matomi virtualieji vaizdai keičiasi priklausomai nuo to, kokie realūs objektai patenka į jų akiratį.
Svarbu žinoti, kad daugybei praktinių uždavinių spręsti nereikia galingos AR įrangos – juk realaus pasaulio vaizduoti nereikia. (Priešingai nei virtualiosios realybės sistemoms, kur vartotojui visuomet pateikiami trimačiai sistemos nustatymo parametrai.) Jei AR sistema skirta įrangai remontuoti, kartais pakanka vienos rodyklės ar užrašo, kad paaiškėtų, kokia tolesnė sudėtingo remonto eiga. Šiaip ar taip, kad mobilioji AR sistema būtų veiksminga, kompiuteris ir kiti įrenginiai turėtų būti ekonomiški ir mažų matmenų. Tuomet juos bus patogu mauti ant galvos.
Kokios papildytosios realybės perspektyvos?
Tyrėjai nuolat tobulina AR sistemų komponentus – sekimo prietaisus, displėjų bei programinę įrangą. Daugelio specialistų nuomone, virtualiosios ir realiosios informacijos susiliejimo laukiama artimoje ateityje. Prognozuojama, kad kai kurios papildytosios realybės taikymo sritys (kompiuteriniai žaidimai, įrangos priežiūra bei remontas, medicinos diagnostika bei chirurgija ir daugybė kitų) susilauks tokios sėkmės, kad virs tikra “epidemija” Kiti autoritetai mano, kad komercinės AR sistemos bus tokios pat įprastos kaip ir telefonai bei asmeniniai kompiuteriai. Ir darbo metu, ir laisvalaikiu žmonės galės regėti užrašus, ženklus ar net animacinius filmukus, kurie jiems padės susiorientuoti nepažįstamoje aplinkoje, primins reikalingus atlikti darbus ar tiesiog juos palinksmins. Šis tikrosios ir virtualiosios realybės mišinys kai kurių profesijų žmonėms, pvz., aktoriams, projektuotojams ar mokslininkams galėtų tapti net įprasta gyvenamąja aplinka.
Beje, esama ir kitokių nuomonių. Mokslo ir technikos pažanga skverbiasi į gana subtilią žmogaus pojūčių sritį. Kasdieniame gyvenime žmogus susiduria su daugybe dirgiklių, kurie vienaip ar kitaip veikia jo sąmonę bei psichiką. Ne visi pakelia šią kasdienybės naštą ir kartais griebiasi psichotropinių ar panašių priemonių, juos trumpam nukeliančių į kitos – geresnės – realybės pasaulį. Nepamirškime, kad ir papildytoji realybė (beje, kaip ir virtualioji) kuria geresnį bei patogesnį pasaulį. AR sistemos gali būti papildytos dar ir kitų žmogaus pojūčių informacija – garso bei lytėjimo. Akivaizdu ir tai, kad laisvosios rinkos varomoji jėga yra vartotojų poreikiai, o jų gali būti ir labai specifinių… Žmogus gali susikurti pojūčių, jausmų (o gal ir aistrų?) kupiną pasaulį, iš kurio nebepajėgs išsikapstyti. Yra apie ką pagalvoti, gerbiamas skaitytojau.
